دانلود تحقیق آمار و احتمال

تخمین پارامترهای احتمال: با توجه به بحث انجام شده دردرس 3 ، پایه قانون PFS شامل تئوری فازی است که نتایج چندگانه ای دارد .

هر نتیجه به یک پارامتراحتمال مربوط می شود .

این درس به احتمال تخمین پارامترها درPFS مربوط می شود .

در این درس فرض بر این است که هم مقدمه وهم نتیجه mfsبه یک اندازه تعیین کننده هستند واحتیاجی به بهینه سازی بیشتر نمی باشد .

طبقه بندی مسئله ها وتخمین mfs دردرس 5 ملاحظه می شود.

دردرس16و18و34 پارامترهای احتمال به وسیله تئوری فازی تخمین زده می شوندو برای تخمین احتمالات شرطی ازفرمولهای اماری استفاده می شود (همانطور که دردرس 35 می بینیم ) این روش برای تخمین پارامترهای تخمین است وهمچنین دریاداوری نظریه ها به روش احنمال شرطی اشاره می کند .

دراین درس نشان خواهیم دادکه روش احتمال شرطی کلا نتیجه بهینه ودقت مورد تاییدی دردوره های PFS نمی دهد .

متناوبا هدف این است که ازحداکثر احتمال درست نمایی معیار ML برای تخمین پارامترهای احتمالی PFS استفاده شود .

درادامه این درس الگوهایی وجود دارد .

درقسمت (1-4 ) روش احتمال شرطی برای تخمین پارامترهای احتمال در PFSمورد بحث قرار می گیرد.

همچنین نشان خواهیم داد هم مسئله ها ی طبقه بندی وهم مسئله های برگشتی که به وسیله پارامترهای احتمال تخمین زده می شوند روش احتمال شرطی غیرواقعی ، غیرواقعی مجانبی ، و ناهماهنگ می باشند که معیارهای ML را پاسخگو نمی باشند .

در قسمت (2-4) برای تخمین پارامترهای احتمال در PFS معرفی یک روش جدید هدف می باشد .

این روش بر پایه معیار ML می باشد .

همچنین در قسمت 2-4نمونه هایی ازبهینه سازی مسئله که نتیجه معیار MLمی باشد مورد بررسی قرار می گیرد .

توجه کنید که درتوصیف ازمایشها دردرس5 روش احتمال شرطی وروش ML به صورت تجربی به وسیله ارتباط ان روشها با مسئله های عددی طبقه بندی شده با هم مقایسه می شوند.

1-4 : روش احتمال شرطی اجازه دهید(X1,Y1) , ...

Xn,Yn) ,) نشان دهنده نمونه های تصادفی از جامعه n باشند این نمونه ها برای تخمین Рr(C|A) استفاده می شوند .

احتمال شرطی رخداد C به شرط رخدادA به وسیله فرمول اماری زیر محاسبه می شود : 4) که وظایف مشخصه های XA ,Xc نشان داده می شوند به وسیله : (2.

4) (3.

4) حالافرض کنید به جای پدیده های معمولی Aو C پدیده های فازی جایگزین شوند .

این به این معناست که به وسیله mfs پدیده های A,C به µA وμC تعریف شوندو به جای XΑ،Xc در معادله 4.1 جایگزین شوند .

در نتیجه خواهیم داشت : (4.4) این فرمول پایه تعریف احتمال رخداد در پدیده فازی می باشد ( درس 37 ) .

مشتق اول فرمول 4.4 درسهای 35و36 را پدید می آورد .

نتیجه فرمول 4.4 در تخمین پارامترهای شرطی درPFS استفاده می شود .

این دیدگاه دردرسهای 16و18و34 دنبال می شود که به روشهای احتمال شرطی در این تز اشاره می کند .

فرض کنید مجموعه اطلاعاتی شاملn نمونه به صورت ( (i=1,2, ...,n) ( Xi,Yi برای تخمین پارامترهای احتمال در دسترس باشد همچنین فرض کنید که هم مقدمه وهم نتیجه mfs درسیستم تعیین شده است ونیاز به بهینه سازی بیشتر نمی باشد یعنی فقط پارامترهای احتمال درتخمین باقی بمانند .

به نظر منطقی می آید که پارامترهای Pj,k واقعی رابرای تخمین احتمال شرطی پدیده فازی Ck به شرط رخداد پدیده فازی Aj قرار دهیم .

اگرچه ورودی X به تعریف بیشتر احتیاج ندارد اما برای نشان دادن غیر عادی بودن محاسبات mfµAj وmfµ¯Aj باید ازفرمول زیراستفاده شود : (4.5) بنابراین Pj,k واقعی است و برای تخمین احتمال شرطی پدیده فازی Ck ونشان دادن غیر عادی بودن پدیده فازی Aj باید ازآن استفاده شود .

توجه داشته باشید که PFSs برای نمونه های برگشتی یک قانون پایه دارد که فقط با همان قانون که در پارامترهای شرطی Pj,k استفاده می شود ودرفرمول 4.5 نشان داده شده هیستوگرامهای فازی مورد بحث دردرس 2 را معادل سازی می کند .

درPFS برای نمونه های طبقه بندی درهرطبقه Ck به صورت یک خروجی جدید نشان داده می شود پس فرمول 4.5 به صورت زیر هم نوشته می شود : (4.6) عملکرد مشخصه XCk بوسیله فرمول زیر نشان داده می شود : (4.7) درتعریف این قسمت ،احتمالات آماری پارامترها تخمین زده می شوند .

به PFSs درنمونه های طبقه بندی در تجزیه وتحلیل فرمولهای (4.5) و(4.6) در قسمت (4.1.1) توجه می شود .

همچنین در قسمت (4.1.2) درنمونه های برگشتی PFSs بررسی می شود .

4.1.1- نمونه های طبقه بندی درمسائل آماری : دراین قسمت ثابت می شود که مسئله های احتمال که به وسیله فرمول (4.6) تخمین زده شده باشند غیر واقعی وناهماهنگ هستند وبا معیارهای ML سازگار نمی باشند .

همچنین کافی است یک عامل نمونه درفرمول( 4.6) قرارداده شود تا غیر واقعی وناهماهنگ بودن تخمین های بدست آمده واینکه بیشینه سازی احتمال درست نمایی مجموعه اطلاعات انجام نمی شود اثبات گردد.

ملاحظه کنید که درPFS اگرمسئله طبقه بندی درخواست شده 2 نوع باشد باC1 وC2 نمایش داده می شود .

PFS یک ورودی X=[0,1] ویک قانون پایه شامل 2 احتمال تئوری فازی دارد .

در مقدمه mfs فازی A1,A2 می نشیند پس خواهیم داشت : (4.8) دردنباله با توجه به فرمول (3.4) که µ¯Aj=µAj و j=1,2 مفروض است که احتمال شرطی C1 وC2 برابر است با : (4.9) با استفاده ازفرمول (3.5) می توانیم احتمال های شرطی نا شناخته ای را که برای تخمین بهPFS احتیاج ندارند ببینیم .

بااستفاده از فرمول (4.9) پارامترهای احتمال بدین صورت خواهند بود که : P*1,1=P*2,2=1 و P*1,2=P*2,1=0 ( توجه کنید که در این مثال مقدمه mfs درفرمول (4.8) به روشی انتخاب شده است که بدست آوردن تخمین درست احتمال شرطی PFS را مشکل می نماید لذا بدست آوردن تخمین های درست احتمال شرطی پارامترهای احتمال Pj,k نیزمشکل خواهد بود ودر نتیجه آنالیز تخمین های پارامترهای احتمالی ، غیرواقعی وناهماهنگ می باشد .

درادامه 2قضیه که درارتباط باپارامترهای آماری فرمول (4.6) می باشد خواهد آمد .

برای اثبات قضیه ها از مثال فوق استفاده میگردد .

قضیه4.1: برای نمونه های طبقه بندی شده در PFS بااستفاده از فرمول (4.6)اثبات کنید که تخمین های Pj,k ازپارامترهای احتمالی P*j,k غیرواقعی وناهماهنگ هستند .

اثبات : مثالی را که دربالا نشان داده شده ملاحظه نمایید .

فرض کنید یک مجموعه اطلاعاتی شامل n نمونه طبقه بندی شده (i=1, ...

, n) ( Xi,yi) برای تخمین پارامترهای احتمال درPFS دردسترس است .

برای سادگی فرض کنید که X1, ...

,Xn ارزشهای ثابتی دارند یعنی فقط Y1, ...

,Yn نمونه هایی بارفتارهای متغیر هستند .

برای مثال تخمین P2,2 ازپارامتراحتمالی P*2,2 را ملاحظه کنید .

ازفرمولهای (4.6) ،(4.7) ،(4.8) ،(4.9) چنین بدست می آید که : (10،4) حالا فرض کنید که XiЄ(0,1) و,n) (i=1,...

سپس از فرمول (4.10) بدست آورید که Ep2,2Є(0,1) تازمانیکه P*2,2=1 تخمین غیرواقعی ازP2,2 باشد .

این بحث اعداد مستقلی از نمونه های طبقه بندی شده n راشامل میگردد.

همچنین ازn→∞ تشکیل شده است .از دو مورد فوق نتیجه می شود که تخمین P2,2 غیر واقعی و ناهماهنگ است .

معادله (4.6) تخمین های پایه رافقط وفقط برای اعدادمثبت Є .

(4.11) Є)=1 n→∞ lim Pr(|pj,k–p*j,k|≤ دراینجا تخمین Pj,k ازیک مجموعه اطلاعات شامل n نمونه طبقه بندی شده بدست می آید .

این شرط می تواند همچنین به صورت Plim pj,k=p*j,k نوشته شود .

شرط لازم برای Plim pj,k=p*j,k این است که n→∞ Epj,k=p*jk lim باشد.

(ببینید قضیه 2.9.39 دردرس12 ) تخمین pj,k ازp*j,k باید واقعی و هماهنگ باشد .اگر چه فعلا اثبات شده که Pj,k تخمین غیرواقعی وناهماهنگی از pj,k است .

بنابراین نتیجه می شود که pj,k تخمین غیرواقعی از p*j,k می باشد واین کاملا تئوری ما را اثبات می کند .

قضیه 4.2 : نمونه های طبقه بندی شده درPFS رادرنظر بگیرید یک مجموعه اطلاعاتی نیز داده شده است .

پارامترهای احتمالی pj,k بااستفاده ازفرمول (4.6)تخمین زده شده اند واحتیاجی به بیشینه سازی احتمال درست نمایی مجموعه اطلاعات نمی باشد .

x 0.0 0.5 0.5 1.0 y C1 C1 C2 C2 جدول 4.1: مجموعه اطلاعاتی که در اثبات قضیه 4.2 استفاده می شود .

اثبات : مثال داده شده در بالا را ملاحظه کنید .

فرض کنید که مجموعه اطلاعاتی شامل 4 نمونه طبقه بندی شده) Xi,yi )( i=1,2,3,4 ) برای تخمین پارامترهای احتمال در PFS دردسترس می با شد .

مجموعه اطلاعات در جدول 4.1 نشان داده شده است .

نمونه های طبقه بندی شده را درفرمول (4.6) جایگزین کنید در نتیجه خواهیم داشت P1,1=P2,2=0.75 و P1,2=P2,1=0.25 سپس از فرمول (3.5)به دست می آید که (4.12) pˆ(C1|x)=0.75-0.5x و pˆ(C2|x)=0.25+0.5x احتمال درست نمایی مجموعه اطلاعات نشان داده می شود به وسیله ) pˆ(Yi|xi L=πⁿ,і=1 حالا فرض کنید که نمونه های مجموعه اطلاعات مستقل ازهم می باشند برای پارامترهای احتمالی Pj,k که به وسیله فرمول (4.6) تخمین زده شده اند با استفاده از فرمولهای (4.12) و (4.13) احتمال درست نمایی مجموعه اطلاعات جدول 1-4 برابرخواهد بود با 9/64≈0.14 .

حالا ملاحظه کنید اگر پارامترهای احتمالی به P΄1,1=P΄2,2=1 و P΄1,2=P΄2,1=0 تبدیل شوند با استفاده از فرمول (3.5) نتیجه پارامترهای احتمالی برابر خواهد شد با: (4.14) pˆ΄(C1|x)=1-x و Pˆ΄(C2|x)=x برای تبدیل پارامترهای احتمال p΄j,k از فرمولهای (4.13) و (4.14) استفاده می شود که احتمال درست نمایی مجموعه اطلاعات در جدول 1-4 برابر با 0.25 خواهد شد .

بنابراین تبدیل پارامترهای احتمال در ارزشهای بالاتر احتمال درست نمایی نتیجه بخش می باشد لذا پارامترهای احتمالی Pj,k با استفاده از فرمول (4.6) تخمین زده می شوند .

این مثال نشان می دهد که پارامترهای تخمین زده شده با استفاده از فرمول (4.6) احتیاج به بیشینه سازی احتمال درست نمایی مجموعه اطلاعات ندارند(واقعیت این است که مثال نشان می دهد که تبدیل پارامترهای احتمالی P΄j,k احتمال درست نمایی مجموعه اطلاعات را بیشینه سازی می کند .

ودرست است که تخمین ML پارامترهای احتمال دقیقا برابربا پارامترهای احتمالی p*j,k به محض اتفاق افتادن مجموعه اطلاعات خاص در جدول 1-4 است .

) این اثبات قضیه را کامل می کند .

این موضوع توجه را جلب می کند که در یک سیستم که ورودی x به روشهای جدید تقسیم می شود(x) i.e.µ¯Ajبرابرخواهد بودبرای j=1, ...

, a وبرای همه (X ( x Є با 0 یا 1.

برای پارامترهای احتمال که با استفاده از فرمول (4.6) تخمین زده می شوند میتوانیم واقعی وهماهنگ بودن با معیارهای ML را نشان دهیم .

(در این قسمت اثبات نمی شود ) بنابراین در سیستم های جدید تخمین پارامترهابا مطلوبیت آماری ممکن است با تخمین هر پارامتر به تفکیک وبا استفاده از فرمول (4.6) بدست آید .

در یک سیستم فازی اگر چه با استفاده از قضایای 4.2 و4.1 تخمین پارامترها با مطلوبیت آماری با تخمین هرپارامتر به تفکیک وبا استفاده از فرمول (4.6) بدست نمی آید در عوض پارامترها در یک سیستم فازی می توانند به طور همزمان تخمین زده شوند واین به پیشنهاد مطرح شده در بخش 4.2 نزدیک است .

4.1.2-احتمال آماری در مسئله های برگشتی : دراین قسمت اثبات خواهیم کردکه تخمین پارامترهای شرطی بااستفاده ازفرمول (4.5) غیرواقعی است وبامعیارهای ML هماهنگی و سازگاری ندارد .

برای اثبات کافی است که یک عامل به عنوان مثال درفرمول (4.5 ) قرارداده شود تا نشان دهد تخمین هایی که غیرواقعی وناهماهنگ می باشند وهمچنین اثبات شود که بیشینه سازی مجموعه اطلاعات دردسترس انجام نمی شود .

باید توجه شود که این قسمت خیلی مشابه قسمت قبل می باشد .

تنها فرق موجود این است که این قسمت درارتباط با PFSs برای نمونه های برگشتی در عوض PFSs برای نمونه های طبقه بندی است .

درنظر داشته باشید که PFS یک راه کاربردی در مسائل برگشتی است دراینگونه مسائل PFS یک ورودی x=[0,1] ویک خروجی y=[0,1] دارد .

اساس این سیستم 2 احتمال قانون فازی را شامل می شود .

در مقدمه mfs فازی A1 و A2 بوسیله فرمول (4.15) نشان داده می شود .

(4.15) µA2(x)=x و µA1(x)=1-x از فرمول (3.4) نتیجه می شود که : µ¯Aj=µAj وj=1,2 .

خروجی y بااستفاده از مجموعه فازی به C1 و C2 تقسیم می شود .

mfs ازاین مجموعه فلزی بااستفاده از فرمول (4.16) به دست می آید .

(4.16) µC2(y)=y و µC1(y)=1-y توجه کنید که فرمول (3.11) شرط کافی است یعنی اینکه y باید خوب تعریف شده باشد .

اگر فرض کنیم که pdf شرطی y به شرط x برابر باشد با P(y|x)=4xy-2x-2y+2 این pdf شرطی نشان می دهد که به تخمین PFS احتیاج داریم .

بااستفاده از فرمولهای (3.5) ، (3.12) ،(3.13) می توانیم ببینیم که در یک PFS که به طور صحیح تخمین زده شده باشد pdf شرطی از فرمول (4.17) بدست می آید .

پارامترهای احتمالی بدست آمده عبارتند از P*1,1=P*2,2=1 و P*1,2=P*2,1=0 (توجه کنید که دراین مثال مقدمه mfs درفرمول (4.15) ونتیجه mfs در فرمول (4.16) به روشی می باشد که شامل PFS که pdf شرطی را به طور صحیح در فرمول (4.17) تخمین زده باشد نیز می شود.

ممکن است آن PFS را که pdf شرطی را به طور صحیح تخمین زده باشدشامل نشود لذا پارامترهای شرطی p*jk ممکن است صحیح نباشند ونتیجه آن نیز ممکن است تجزیه وتحلیل واقعی وهماهنگی از تخمین پارامترهای احتمال نداشته باشد .

دردنباله برای احتمال آماری 4.5 دو قضیه مورد توجه می باشد .

قضیه ها را با استفاده از مثال فوق اثبات خواهیم کرد .

قضیه 4.3: با استفاده از فرمول (4.5) در یک PFS برای نمونه های برگشتی اثبات کنید که تخمین های Pj,k از پارامترهای شرطی p*jk غیر واقعی و ناهماهنگ می باشند .

جدول 4.2: مجموعه اطلاعاتی که در اثبات قضیه 4-4 استفاده می شوند اثبات : مثال نشان داده شده در بالا را ملاحظه کنید .

فرض کنید مجموعه اطلاعاتی شامل n نمونه) (xi,yi) (i=1,...,n برای تخمین پارامترهای احتمالی درPFS دردسترس می باشد برای سادگی فرض کنید که X1, ...

,Xn ارزشهای ثابتی دارند یعنی فقط Y1,...,Yn نمونه هایی بارفتارهای متغیر هستند .

برای مثال تخمین P2,2 ازپارامتراحتمالی P*2,2 را ملاحظه کنید.

ازفرمولهای (4.5)،(4.15)،(4.16)،(4.17) چنین بدست می آید که : (4.18) : زیرا( XiЄ(0,1 و ,n) (i=1,...

ودردنباله از فرمول (4.18) نتیجه می شود که: Ep2, 2 Є همچنین 1 =P*2,2 وتخمین P2,2 غیرواقعی است .

این بحث دراعداد ونمونه های n دارای ظرفیت مستقلی می باشد بنابراین برای n→∞ هم ظرفیت دارد .

ازاینها نتیجه می شود که تخمین P2,2 همچنین غیر واقعی است .

معادله (4.5) اثبات تخمینها را پیگیری می نماید اگروفقط اگر Plimpj,k=p*j,k .

شرط لازم برای Plimpj,k=p*j,k این است که n→∞ lim و Epj,k=p*j,k (به قضیه 39-9-2درس 12 توجه کنید .

تخمین pj,k ازp*j,k باید مجانب وواقعی باشد .

اگرچه بزودی اثبات میگردد که pj,k تخمین غیرواقعی مجانبی از p*j,k می باشد .

بنابراین غیرواقعی بودن تخمین pj,k اثبات می شود که همان اثبات قضیه 4.3 می باشد .

قضیه 4.4: یک PFS ازنمونه های برگشتی را در نظر بگیرید نشان دهید در یک مجموعه اطلاعاتی پارامترهای احتمالی pj,k به وسیله فرمول (4.5) تخمین زده می شوند وبه بیشینه سازی احتمال درست نمایی مجموعه اطلاعات احتیاج نمی باشد .

اثبات : مثالی را که در بالا اورده شده ملاحظه کنید .

فرض کنید مجموعه اطلاعاتی شامل 3 نمونه (xi,yi) (i=1,2,3) ازتخمین پارامترهای احتمال در PFS دردسترس می باشد.

مجموعه اطلاعات جدول 4.2 را در فرمول (4.5) جایکزین کنید نتیجه این است که p1,1=p2,2=5/6 و p1,2=p2,1=1/6 سپس از فرمولهای (3.5)،(3.12)،(3.13) بدست می آید که : (4.19) pˆ(x|y)=1/3(8xy-4x-4y+5) احتمال درست نمایی مجموعه اطلاعات به وسیله فرمول (4.13) بدست می آید .

برای تخمین پارامترهای احتمالی pj,k از فرمول (4.5) وبه دنبال آن از فرمولهای (4.13) و (4.18) استفاده می شود که احتمال درست نمایی مجموعه اطلاعات در جدول 2-4 برابراست با 25/9≈2/78 حالا تبدیل پارامترهای احتمال p΄1,1=p΄2,2=1 و p΄1,2=p΄2,1=0 را با استفاده از فرمول (3.5) ملاحظه نمایید : (4.20) pˆ(x|y)=4xy-2x-2y+2 برای تبدیل پارامترهای احتمالی p΄j,k با توجه به فرمول (4.13) و (4.20) احتمال درست نمایی مجموعه اطلاعات در جدول 2-4 برابر با 4 خواهد بود .

بنابراین تبدیل پارامترهای احتمالی نتیجه ای است از احتمال درست نمایی ارزشهای بالا سپس پارامترهای احتمالی pj,k با استفاده از فرمول (4.5) تخمین زده می شود .

این مثال نشان می دهد که پارامترهای احتمالی تخمین زده شده با استفاده از فرمول (4.5) احتیاج به بیشینه سازی احتمال درست نمایی مجموعه اطلاعات ندارد .

(در واقع در مثال نشان داده شده است که تبدیل پارامترهای احتمالی p΄j,kاحتمال درست نمایی مجموعه اطلاعات را بیشینه سازی می کند .

البته ML پارامترهای احتمال را دقیقا برابربا پارامترهای احتمال p*j,k تخمین می زند به محض اینکه نتیجه ای معین از مجموعه اطلاعات جدول 2-4 اتفاق افتد .

) واین اثبات قضیه را کامل می نماید .

توجه کنید که در یک سیستم که ورودی x وخروجی y به روش جدید تقسیم بندی می شوند µˉAj(x) برای همه) )(xЄX (j=1,...,a برابر خواهد بود با صفر و یک وµcL(y) برای همه (k=1,...,c)(yЄY) نیز برابر خواهد بود با صفر و یک .

پارامترهای احتمال تخمین زده شده با استفاده از فرمول (4.5) واقعی هستند وبا معیارهای ML هماهنگی و سازگاری دارند .

(اینجا اثبات نمی شود ) بنابراین در سیستم جدید ممکن است پارامترهای تخمین زده شده با آمارهای احتمالی مطلوب بااستفاده از فرمول (4.5) وبه وسیله تخمین زدن هر پارامتر به تفکیک بدست آید .

در یک سیستم فازی با توجه به قضیه های 3-4 و 4-4 پارامترهای تخمین زده شده با آمارهای احتمالی مطلوب بااستفاده از فرمول (4.5) وبه وسیله تخمین زدن هر پارامتر به تفکیک بدست نمی آید در عوض پارامترها در سیستم فازی به طور همزمان تخمین زده می شوند وبدین گونه به پیشنهاد مطرح شده در قسمت بعدی نزدیک می شویم .

2-4 : روش افزایش احتمال درست نمایی در این قسمت پیشنهاد می کنم از معیار های ML برای تخمین پارامترهای احتمال در PFS استفاده شود برعکس روش احتمال شرطی که در بخش قبلی مورد بحث قرار گرفت همه پارامترها ی احتمال در PFS به طور همزمان دریک فاصله نزدیک تخمین زده می شوند .

فرض کنید دراین قسمت که هم مقدمه وهم نتیجه mfs درPFS مشخص است و نیازی به بیشینه سازی بیشتر نیست .

(برای مسئله های طبقه بندی هم تخمین ML وهم mfs در پارامترهای احتمالی در قسمت 2-5 بررسی می شود ) باید توجه شود که تمرکز این قسمت روی PFSs برای تخمین شرطی pdfs می باشد .

بنابراین نتیجه این بخش همچنین به PFSs برای نمونه های طبقه بندی ارتباط خواهد داشت تا زمانیکه یکPFS برای نمونه های طبقه بندی بتواند مورد مخصوصی ازیک PFS برای تخمین شرطی pdfs باشد .

توجه کنید که تخمین ML پارامترهای احتمال دردرس 26 مورد بحث قرار می گیرد .

همچنین توجه کنید که که با جایگزین کردن فرمول (3.5) در فرمول (3.12) نتیجه می شود که : (4.21) پارامترهای احتمال pj,k درفرمول (4.21) باید شرطهای فرمول (3.2) و (3.3) را برآورده کند .

از فرمول (3.3) بدست می آید کهc-1,k=1pj,k pj,c=Σ بنابراین فرمول (4.21) می تواند همچنین به صورت زیر نوشته شود : (4.22) پارامترهای احتمالی pj,k در فرمول (4.22) باید برآورده کند : (4.23) k=1,...,c-1 و j=1,...,a برای pj,k≥0 (4.24) حالا فرض کنید که مجموعه اطلاعات شامل n نمونه (xi,yi)(i=1,...,n) برای تخمین پارامترهای احتمال PFS دردسترس است .

پارامترهای اصلی P=[pj,k](j=1,...,a) را جایگزین نمایید احتمال درست نمایی مجموعه اطلاعات برابر خواهد بود با : (4.25) ) pˆ(Yi|xi L(P)=πⁿ,і=1 حالا فرض کنید که نمونه های موجود در مجموعه اطلاعات مستقل از هم باشند .

احتمال شرطی در p باید شرطهای فرمول های (4.23) و (4.24) را برآورده کند .

بااستفاده از فرمول (4.22) و (4.25) لگاریتم احتمال درست نمایی می تواند به صورت زیر نوشته شود : (4.26) تخمین ML ازپارامترهای احتمالی PFS به وسیله بیشینه سازی لگاریتم احتمال درست نمایی عملکرد L(P) در فرمول (4.26) با در نظر گرفتن پارامتر اصلی P برآورد می شود ازبیشینه سازی L(P) به وسیله شرطهای فرمول (4.23) و (4.24) جلوگیری می شود .

تا زمانیکه عملکرد L(P) غیر خطی است پیدا کردن تخمین های ML پارامترهای شرطی یک مسئله برنامه ریزی شده غیر خطی است .

درادامه قضیه را ملاحظه کنید .

قضیه 5-4 : لگاریتم احتمال درست نمایی عملکرد L(P)در فرمول (4.26) واگراست .

اثبات : زمانیکه جمع عملگرهای واگرا ، واگراست کافی است اثبات کنیم که : (4.27) عملکرد واگرا برای همه) (xЄX وهمه (yЄY) است توجه کنید که Φ(p) از هر پارامتر اصلی p برای pˆ(y|x)>0 بدست می آید .

علاوه براین Φ(p) در دو مورد پیوسته متفاوت است .

حالت اول وحالت دوم مشتق نسبی Φ(p) هستند که نشان داده می شوند به وسیله : (4.28) (4.29) در جاهایی از فرمول (4.29) که α,β=1,...,a و γ,σ=1,...,c-1 هر پارامتر اصلی p برای هر Ф(p) بدست می آید از : (4.30) اجازه دهید Dm برm*m دلالت کند وتعیین شود به وسیله : (4.31) در اینجا برای q≠r و,γr) (αq,γq)≠(αr و (βq,σq)≠(βr,σr) ازفرمول(4.29) استفاده می شود که نشان می دهد برای تعیین هر Dm با m=2 وبرای هر پارامتر اصلی p Ф(p), بدست می آید از : (4.32) بوسیله ارتباط مراحل تعیین وگسترش انها فرمول (4.32) بدست می آید که در آن نیز Dm برای همه مشخصه ها یی با m>2 برابر صفر خواهد بود .

همچنین با ترکیب آن فرمول (4.30) نتیجه می شود که پارامتر اصلی Ф(p), تقریبا در همه جا منفی است (مراجعه به قضیه (11-E – 1 ) در درس 32 ) در نتیجه Ф(p), یک عملگر واگراست .

واین اثبات قضیه را کامل می کند .

توجه داشته باشید که این قضیه عمومی است یعنی نمی توانیم درباره µAj mfs درPFS تصوری داشته باشیم .

در مسائل برنامه ای غیر خطی تخمین های ML پارامترهای احتمالی PFS را پیدا می کنند عملگرها در محدودیتها به وسیله فرمول های (4.23) و (4.24) که همگی خطی هستند نشان داده می شوند .

از همه اینها نتیجه می شود که این عملگرها همگرا هستند .زمانی برحسب تئوری 5-4 موضوع عملگرها مسائل برنامه ای غیر خطی است که در حقیقت همان مسائل برنامه ای همگرا می باشند .

مسائل برنامه ای همگرا ویژگیهای دردسترسی دارند که عبارت است از روش مساعد محلی و روش مساعد کلی بنابراین پیدا کردن یک روش مساعد کلی به عنوان یک راه حل باید نسبتا آسان باشد .

x0.00.50.51.0yC1C1C2C2 x0.00.51.0y0.00.51.0