انتگرال تصادفی: (18) فرآیند x(t)، انتگرال پذیر MS است اگر (5-39) قضیه: فرآیند x(t) انتگرال پذیر MS است اگر (5-40) نتیجه: (5-41) فصل ششم: زنجیرهای مارکف: فرآیندهای مارکف یک تعمیم ساده برای فرآیندهای مستقل است برای مجاز کردن وابستگی برآمد فاصله به یکی از برآمدهای قبلی که به برآمدهای قبل از آن وابسته نباشد.
بنابراین در فرآیند مارکف x(t) گذشته روی آینده بی تاثیر است اگر وضعیت فعلی فرآیند مشخص باشد.
یعنی اگر آنگاه: (6-1) و اگر آنگاه: حالت خاصی از فرآیندهای مارکف، زنجیر مارکف است.
هر دو فرآیند و زنجیر مارکف تبه به اینکه فضای حالتشان گفته یا پیوسته است، می توانند گسسته یا پیوسته باشند.
تعریف: زنجیر مارکف با زمان گسسته یک فرآیند تصادفی مارکف است که فضای حالت آن مجموعه ای شمارا یا شما را نامتناهی بوده و در آن که تعداد Lxn نتیجه آزمایش n ام می نامند.
تئوری زنجیرهای پیوسته(زنجیرهایی با فضای حالت ناشما را یا شما را نامتناهی) بوسیله کلوموگروف آغاز و پل به وسیله دوبلین- دوب- لوی و بسیاری دیگر اولویت یافت.
احتمالات انتقال: (20) احتمال تغییر وضعیت یک مرحله ای برابر احتمال شرطی است که به صورت زیر تعریف می شود: (6-3) احتمال تغییر وضعیت یک مرحله ای برابر احتمال رفتن از حالت I به حالت j در یک دوره زمانی با آغاز از n بیان می شود.
این نماد تاکید می کند که در حالت کلی، احتمالات انتقال نه فقط توابعی از وضعیت ابتدایی و انتهایی اند، بلکه به زمان انتقال نیز بستگی دارند.
تعریف، وقتی احتمالات انتقال یک مرحله ای از متغیر زمان( یعنی مقدار n) منتقل باشند، آنگاه گوییم فرآیند مارکف دارای احتمالات انتقال مانا می باشد.
ماتریس مارکف یا ماتریس احتمال انتقال یک آرایه مربعی نامتناهی به صورت.
می باشد که در آن سطر(i+1) ام توزیع احتمال مقادیر Xn+1 تحت شرط(Xn=i) است.
هر گاه تغییر حالتها متناهی باشد آنگاه P یک ماتریس مربعی متناهی است که مرتبه اش ( تعداد سطرها) مساوی تعداد حالتهاست.
واضح است که Pij ما در شرایط زیر صدق می کنند: سطر فرآیندی با مشخص بودن تابع احتمال انتقال یک مرحله ای و X0(به عنوان حالت آغازین فرآیند) کاملا معین است زیرا طبق تعریف احتمالات شرطی، داریم: (6-5) و اگر فضای حالت متوالی نباشد یا فرآیند فضای حالت را به گونه ای متوالی طی نکند می توان گفت: (6-6) نمونه هایی از زنجیره های مارکف: (20) 1) زنجیرهای مارکف همگن: (18) تعریف: یک زنجیر مارکف را همگن در زمان نامنداگر(m,n) Pij فقط به تفاضل n-m بستگی داشته باشد.
و اگر این احتمالات انتقال به زمان بستگی داشته باشند آنگاه فرآیند را ناهمگن می گوئیم.
اگر زنجیر همگن باشد، احتمالات تغییر وضعیت را مانا می نامیم و (6-7) که نشان دهنده احتمال شرطی یک زنجیر مارکف همگن است زمانی که زنجیر در n مرحله از حالتi به حالت j می رود.
مدت زمانی که زنجیر مارکف همگن y صدف می کند در رسیدن به یک حالت(زمان رسیدن) باید بی حافظه باشد، زمانی که حالت فعلی برای تعیین آینده کافیست.
بنابراین در حالت گسسته اگر زمانهای جاری tn به طور یکنواخت در tn=nt قرار بگیرند، y رابطه زیر را برآورد می سازد که y یک متغیر تصادفی هندسی است.
(6-8) بنابراین مدتی که یک زنجیر مارکف گسسته زمان همگن در هر حالتی می گذارند یک توزیع هندسی است.
زنجیره های مارکف همگن(فضایی) را در دو حالت بررسی کرده و در هر حالت فرض می کنیم: یک متغیر تصادفی گسسته با مقدار صحیح نامنفی باشد همچنین و مشاهداتی مستقل از باشند و همچنین فضای فرآیند مجموعه اعداد صحیح نامنفی است.
الف) فرآیند به ازای را در نظر می گیریم که با تعریف شده است.
ماتریس آن به شکل زیر می باشد.
یکسان بودن سطرها مبین آن است که متغیرهای تصادفی مستقلند.
ب) رده مهم دیگر از مجموعهای جزئی متوالی از ها ناشی می شود.
یعنی: (6-9) فرآیند یک زنجیر مارکف بوده و ماتریس احتمال انتقال آن به صورت زیر حساب می شود: (6-10) که در این محاسبات از فرض استقلال استفاده شده است.
در حالت کلی ماتریس به صورت البته می توان فضای حالت را با مجموعه اعداد و صحیح یکی کرد.
زیرا در اینصورت ماتریس احتمال اتصال به شکل متقارن تری در خواهد آمد.
در این صورت فضای حالت از مقایر ...و2+و1+و0و1-و2-و...
تشکیل می شود و ماتریس احتمال انتقال به صورت زیر خواهد بود: (6-11) 2) رفتارهای تصادفی یک بصری: (18) رفتار تصادفی یک بعدی یک زنجیر مارکف است که فضای حالتش زیر مجموعه ای متناهی مانند a,a+1,a+2,…,b از اعداد صحیح است که در آن ذره، اگر در وضعیت ناباشد، می تواند با یک انتقال یا در نابماند و یا به یکی از وضعیتهای مجاور 1+ iو1-I منتثل شود.
قدم زدن تصادفی یک رفتار تصادفی یک بعدی زیرا یک تجسم فرآیند مسیر شخصی که از خود بیخود شده است که به طور تصادفی یک قدم جلو یا عقب بر می دارد را توصیف می کند.
در این فرآیند اگر فضای حالت مجموعه اعداد صحیح نامنفی گرفته شود ماتریس اتصال انتقال به شکل روبرو خواهد بود: (6-12) یعنی هر گاه Xn=I آنگاه به ازای (6-13) فرآیند قدن زدن تصادفی توصیف کننده حرکت ذرات منتشر شده نیز می باشد، هرگاه ذره ای تحت تصادمها و ضربه های تصادفی قرار گیرد، آنگاه موضوعش به طور تصادفی بالا و پائین می رود.
در این حالت می توان همچون حرکت بروانی از رفتار تصادفی متقارن استفاده کرد.
منظور از رفتار تصادفی متقارن بر اعداد و صحیح یعنی زنجیری مارکف با فضای حالت تمام اعداد صحیح که ماتریس احتمال انتقال آن دارای عنصر مقابل می باشد: (6-14) معمولا رفت تصادفی متقارن فقط به حالت P=1/2 , r=0 اطلاق می شود.
اگر در ماتریس احتمال انتقال فرآیند قدم زدن تصادفی ، وضعیت صفر مانند یک مانع انعکاسی عمل می کند.
یعنی هر وقت ذره به حالت صفر رسید، انتقال بعدی خود به خود به حالت یک باز می گردد.
اما اگر ، آنگاه صفر به صورت یک مانع جاذب عمل می نماید و ذره به محض رسیدن به صفر برای همیشه در آنجا می ماند و هر گاه ، آنگاه صفر یک مانع انعکاسی جزئی است.
مدل دیگری از قدم زدن تصادفی، قدم زدن تصادفی دایره ای با فضای حالت می باشد.
دو مقدار نهایی به یکدیگر گره زده می شوند تا حلقه ای ساخته شود که در آن بین قرار دارد.
قدم زدن تصادفی در این مسیر دایره ای شکل به گونه ای ادامه می یابد که هر حالتی یا به چپ و یا به راست منتقل می شود.
این فرآیند را می توان با ماتریس انتقال N*N ای به صورت زیر نمایش داد.
(6-15) کلی تر اینکه اگر همان امکان انتقال بین هر دو حالت وجود داشته باشد، آنگاه زمانی که k مرحله به سمت راست برویم همانند حرکت در N-K مرحله در سمت چپ است که ماتریس این انتقال به صورت زیر است: که در آن یک مدل مشهور دیگر در فرآیندهای قد زدن تصادفی مدل در نقش است.
یعنی یک رفتار تصادفی بر مجموعه ای متناهی از حالتها که در آن حالتهای مرزی انعکاسی هستند.
رفتار تصادفی به وضعیتهای i=-a,-a+1,…,0,1,…,a با ماتریس احتمال انتقال P محدود شده است که احتمالهای آن به صورت مثابل محاسبه شده است.
(6-17) رفتار تصادفی کلاسیک n بعدی به صورت زیر تنظیم می شود: فضای وضعیت مجموعه تمام نقاط شبکه صحیح در (فضای اقلیدسی n بعدی)است.
یعنی، هر وضعیت یک n تایی k=(k1,k2,…,kn) از اعداد صحیح است و حالتهای انتقال آن به صورت زیر محاسبه می شوند.
مشابه حالت یک بعدی، رفتار تصادفی متقارن در نمایش صورت گسسته ای از حرکت براوانی nبعدی است.
3) زنجیر مارکف صف بندی گسسته: (18) برای انجام کاری مشتریهادر صفی به نوبت می ایستند.
اگر دست کم یک مشتری در صف باشد، در هر فاصله زمانی یک مشتری راه می افتد.
اگر مشتریی در صف نباشد، در این فاصله هیچ کاری صورت نمی گیرد.
در فاصله زمانی که کاری صورت می گیرد، ممکن است مشتریهای تازه ای وارد شوند.
فرض کنید تعداد واقعی افرادی که در فاصله زمانی nام وارد می شوند متغیر تصادفی باشد تابع توزیع آن مستقل از فاصله زمانی بوده و به صورت(6-19) ={k مشتری در یک فاصله زمانی وارد شوند} Pr است.
همچنین فرض می کنیم ها از هم مستقل باشند.
وضعیت دستگاه در شروع هر فاصله زمانی مساوی تعداد مشتریانی تعریف می شود که در صف منتظرند.
هر گاه وضعیت فعلی ناباشد، آنگاه پس از گذشت یک فاصله زمانی وضعیت به صورت (6-20) خواهد بود.
که در آن len تعداد مشتریان تازه ای است که در فاصله رسیدگی به کار یک مشتری وارد شده اند.
پس می توان برحسب متغیرهای تصادفی فرآیند به طور صوری بیان کرد: (2-16) که ماتریس احتمال انتقال به صورت خواهد بود.
(6-22) واضح است که اگر میانگین تعداد مشتریان تازه وارد یعنی که در یک فاصله زمانی سرویس داده می شوند از یک تجاوز کند، قطعا صف انتظار با گذشت زمان بدون حد و مرز طویلتر خواهد شد.
از آن سو هر گاه آنگاه خواهیم دید که طول صف انتظار به یک وضعیت تعادل مانا نزدیک می شود و اگر ، یک حالت ناپایدار ایجاد می شود.
4) دنباله پیروزیها: (18) یک زنجیر مارکف بر اعداد صحیح نامنفی با ماتریس احتمال انتقال به شکل (6-23) را در نظر بگیرید که در آن در اینجا وضعیت صفر نقش قابل توجهی دارد به این صورت که می توان از هر وضعیتی به وضعیت صفر رسید حال آنکه فقط از وضعیت نا به وضعیت 1+ تا می رسیم.
حالت خاصی از این ماتریس انتقال در پرداختن به دنباله پیروزیها در آزمایشات کلری که هر یک دو وضعیت پیروزی(s) یا شکست(F) را می پذیرد، حاصل می شود.
این آزمایشها مستقل هستند پس فرآیند مارکف می باشد.
5) فرآیندهای شاخه ای: (18) فرض کنید موجود زنده ای در پایان عمرش تعداد و تصادفی نوزاد با توزیع احتمال (6-24) تولید کند که در آن .
همچنین تمام نوزادان مستقل از هم عمل می کنند و در آخر عمرشان نوزاد می خواهند دانست و بدین ترتیب نسلشان ادامه می یابد.
فرآیند X(t) که در آن Xt اندازه جمعیت در نسل tام است یک زنجیر مارکف می باشد.
(6-25) که در آن ها مشاهدات مستقل یک متغیر تصادفی هستند.
در نسل nام، ناموجود مستقلا تعداد نوزاد تولید می کنند.
6) مدل انبارداری: (18) کالایی برای برآوردن تقاضای مداوم انبار شده است.
فرض می کنیم ذخیره سازی در زمانهای متوالی t1,t2,… صورت گیرد و کل تقاضا برای این کالا روی بازه متغیر تصادفی باشد که تابع توزیع آن مستقل از فاصله زمانی است: (6-27) موجودی انبار در آغاز هر فاصله زمانی بازرسی می شود.
خط مشی انبارداری با مشخص کردن دو مقدار بحرانی نامنفی S>s,s از قبل مشخص می شود.
این خط مشی به این صورت است که اگر موجودی انبار از s بیشتر باشد بلافاصله به آن اضافه می شود تا موجودی به سطح s برسد.
اما اگر موجودی از s تجاوز کند چیزی به آن اضافه نمی شود.
فرض می کنیم Xn موجودی انبار درست بیش از افزودن کالا در tn باشد.
وضعیتهای فرآیند Xn عبارتند از مقادیر ممکن حجم موجود در انبار، s,s-1,…,+1,0,-1,-2… که در آن یک مقدار منفی به عنوان تقاضای بدون عرضه تعبیر می شود.
که به محض تهیه کالا تحویل خواهد شد.
طبق قوانین انبارداری میزان موجودی در دو فاصله متوالی با رابطه مقابل بهم مربوطند: (6-28) موجودی انبار در آغاز هر فاصله زمانی بازرسی می شود.
طبق قوانین انبارداری میزان موجودی در دو فاصله متوالی با رابطه مقابل بهم مربوطند: (6-28) که در آن کمیت مورد تقاضاست که در فاصله زمانی nام، مبتنی بر قانون احتمال ذکر شده بوجود می آید.
هر گاه ها دو به دو منتقل می باشد، آنگاه موجودیهای x0,x1,x2,… تشکیل یک زنجیر مارکف می دهد.
7) مدل ژنتیک: (18) مدل ژنتیک ایده آل توسط اس.رایت معرفی شد تا نوسان فراوانی ژن براساس جهش و انتخاب بررسی می شود.
فرض کنید با جمعیت ثابتی از N2 ژن از نوع a و نوع A سروکار داشته باشیم.
تشکیل نسل بعد به وسیله N2 در آزمایش دو جمله ای مستقل به شرح زیر انجام می شود، هر گاه جمعیت والدین مشتمل بر j ژن از نوع a و(n-j2) ژن از نوع A باشد، آنگاه نتیجه هر آزمایش به صورت مقابل است:(6-29) یعنی: (6-30) البته توجه کنید که وضعیتهای 0 و N2 کاملا جانیه به این معنی که هر گاه 0 یا N2،xn آنگاه به ازای هم ، 0 یا n2= Xn+k در یک مدل ژنتیکی دیگر می توان فرض کرد هر ژن از تعدادی اجزاء مثلا N جزء تشکیل شده است.
وقتی سلول شامل ژن آماده تقسیم می شود، هر جزء دو برابر شده و هر یک از دو سلول شامل یک ژن با همان تعداد اجزاء مثل قبل می شود.
گوئیم فرآیند در وضعیت نا است اگر از ناجزء با قابلیت جهش و(N-i) جزء نرمال تشکیل شده باشد احتمالات انتقال به صورت زیر قابل محاسبه هستند: (6-31) معادلات چپمن- کلوموگروف: (18) تعریف: دنباله ای از حالتها که بوسیله آنها فرآیندی می تواند حرکت کند را مسیر فرآیند نامند.
از ویژگی مارکف نتیجه می شود که احتمال یک سیر، دقیقا برابر حاصل ضرب احتمالهای تغییر وضعیت یک مرحله ای است یعنی: (6-32) در بعضی موارد حالت آغازین زنجیر ثابت نبوده و یک متغیر تصادفی است.
در این صورت تابع جرم احتمال X0(حالت آغازین) در محاسبه احتمالهای مسیرهای مختلف ظاهر می شود.
تابع احتمال در هر زنجیر مارکف Xt بوسیله معادلات چپمن- کلوموگروف پشتیبانی می شوند.
می توان با استفاده از رابطه(6-6) به یک رابطه کلی در همه زنجیرها رسید.
به ازای هر n>r>m داریم: (6-33) ماتریس احتمال انتقال را با تبدیل رابطه P(m,n):P(m,r)P(r,n) وقتی که m P(m,n)=P(m,m+1)*P(m+1,m+2)*…*P(n-1,n) در نظر می گیریم.
بنابراین برای بدست آوردن P(m,n) به ازای هر nm، کافیست ماتریس احتمال انتقال مرحله ای اول را بدانیم.
P(0,1) , P(1,2) , P(2,3) ,…, P(n,n+1),… به ازای یک زنجیر مارکف همگن همه احتمالهای انتقال به صورت(6-36) P(m,n)=Pn-m در می آید.
احتمالات انتقال n مرحله ای: (20) تعریف: احتمال تغییر وضعیت K مرحله ای، به صورت زیر تعریف می شود: (6-37) این احتمال تغییر وضعیت برابر احتمال بودن در حالت jام، k دوره زمانی پس از بودن در حالت iام است.
به دلیل اینکه فرآیندهای همگن سروکار داریم، احتمال تغییر وضعیت k مرحله ای به زمان n بستگی ندارد.
برای بدست آوردن عبارتی کلی برای احتمالهای تغییر وضعیت چند مرحله ای فهرستی از مسیرهای ممکنی که فرآیند در رفتن از i به j در چند مرحله می تواند دنبال کند را تصور کنید پس احتمالهای همه این مسیرها را محاسبه و با هم جمع می بندیم.
پس داریم: (6-38) بویژه فرمول بازگشتی مرتبه اول مقابل را نتیجه می گیریم: (6-39) در نهایت، توزیع احتمال شرطی در t=nt با فرمول زیر بدست می آید: (6-40) و به طور کلی داریم: (6-41) که و برای یک زنجیر همگن داریم: (6-42) P(n)=P(0)Pn قضیه: احتمالهای تغییر وضعیت n مرحله ای فرض بر این است که حالت آغازین معلوم است.
وقتی حالت آغازین متغیری تصادفی باشد، از محاسبات ماتریسی نیز می توان برای یافتن احتمالها استفاده کرد.
هر ماتریس احتمال انتقال N*N دارای N مقدار ویژه می باشد.
فرض می کنیم این مقادیر ویژه ساده مجزا و مخالف صفر هستند.( اگر چه که صفر هم می تواند مقدار ویژه باشد).
فرض کنی() ,N … ,2 ,1=I تا نشان دهنده N زوج(بردار ویژه، مقدار ویژه) برای P است.
بنابراین (6-43) که در آن ماتریسی مربعی و به طوریکه uiها، I=1,…,N بردارهای ستونی مستقل خطی u,N*1 یک ماتریس تا تکین N*N است.
از فرمول(6-43) داریم: (6-44) یا که که K=1,2,…,N,Uk، نشان دهنده k امین بردار سطری است.
بنابراین (6-45) از( 6-44) داریم: (6-46) یا با جمع بستن فرمولهای قبل به ازای هر مقدار ویژه ، بردارهای دو مجموعه از N معادله خطی به صورت مقابل بدست می آید: (6-49) (6-48) برای بدست آوردن مقدار ویژه به ازای k=1,2,…,N معادله(6-50) حل می کنیم.
به ازای هر ، بردارهای ترکیبی را می توان از فرمولهای فوق بدست آورد.
از(6-45) می توان نوشت: (6-51) در نهایت با داشتن داریم: (6-52) اگر یکی از مقادیر ویژه P صفر باشد( با تکرار) با قرار دادن ، نمایشفوق به ازای هم n1 معتبر خواهد بود.
و برای n=0 مقدار ویژه صفر در ثابت اضافه قرار می گیرد.
بنابراین مجموع N-1 مجله در(6-52) برای n1 است اگر P مقدار ویژه صفر را داراست.
تکرار مقادیر ویژه: (18) فرمول(6-52) با فرض اینکه همه مقادیر ویژه P مجزا گرفته شد.
اگر چه بعضی از مقادیر ویژه P می توانند تکرار شوند حتی با تکرارهای پیش از یکبار فرض کنید مقدار ویژه Ai با تعداد تکرار i=1,2,…,k,ri1 رخ می دهد بنابراین یعنی مجموع تعداد تکرارهای مقادیر ویژه برابر بعد ماتریس P می باشد.
در این حالت P دارای نمایش قانونی ژوردان است که (6-54) و ماتریس مربعی (6-46) از(6-44) نتیجه می شود به طوریکه: و (6-56) (6-55) بنابراین در تعمیم حالت ریشه های تکراری فرمولهای فوق را داریم که تونلهای نشان دهنده تعمیم مقادیر ویژه P در(6-44) هستند.
زنجیر مارکف ارگودیک: (20) اگر چه نشان دهنده احتمالهای شرطی است ولی می توانیم با مشروط کردن روی حالت اولیه، احتمالهای غیرشرطی را نیز بدست آوریم: (6-57) در زنجیرهای طویل مارکف، مقدار وقتی به مقدار (برداری سطری که در ایه های آن برای تمام حالتهای ممکن از احتمالهای به شکل Pr{Xn=s} تشکیل شده است)، که فقط به j بستگی دارد، همگرا می شود.
یعنی برای مقادیر بزرگ n احتمال اینکه بعد از n تغییر وضعیت در حالت j باشیم بدون وابستگی به حالت اولیه، تقریبا برابر با است.
برای اینکه یک زنجیر مارکف دارای چنین خاصیتی باشد کافیست که برای n>0 و هم i,j=0,1,…,m داشته باشیم زنجیرهای مارکفی که در خاصیت چپمن- کلوموگروف داریم، (6-58) پس وقتی که یعنی در زنجیرهای مارکف ارگودیک داریم: بعلاوه چون (6-59) است پس برای داریم (6-60) و در حقیقت می توان نشان داد که کمیت همچنین به طور حدی برابر است با نسبت مدت زمانی که زنجیر مارکف در حالت j(j=0,1,…,m) قرار دارد.
برای مشاهده این واقعیت فرض کنید Pj نشان دهنده نسبت حدی مدت زمانی باشد که زنجیر در حالت j قرار دارد.
از آنجایی که نسبت مدت زمانی که زنجیر در حالت k است برابر با Pk می باشد و همچنین وقتی که زنجیر در حالت K باشد با احتمال Pkj به حالت j می رود، بنابراین نسبت زمانی که زنجیر مارکف وارد حالت j می شود برابر با Pkj Pk است.
با جمع بستن روی همه مقادیر x می توان نشان داد که نسبت زمانی که زنجیر مارکف وارد حالت j می شود(Pi) از رابطه (6-61) بدست می آید.
رده بندی حالتهای یک زنجیر مارکف: (20) گوئیم وضعیت j در دسترس وضعیت I است اگر به ازای عددی صحیح مانند یعنی وضعیت j در دسترس وضعیت i است اگر بتوان با احتمال مثبتی در تعدادی متناهی انتقال از وضعیت i شروع و به وضعیت j رسید.
تعریف: هر وضعیت i و j را که در دسترس یکدیگرند مرتبط می نامیم و می نوشتیم، هر گاه دو وضعیت j,i مرتبط نباشد آنگاه به ازای هر تمام وضعیتهایی که با هم مرتبط هستند در یک رده هم ارزی قرار می گیرند.
ممکن است از رده ای شروع کنیم و با احتمال مثبت وارد رده ای دیگر شویم.
اما واضح است که نمی توان به رده اولیه بازگشت، والا دو رده با هم یک رده را تشکیل می دهند.
تعریف: گوئیم زنجیر مارکف تحویلناپذیر است اگر رابطه هم ارزی فقط یک رده هم ارزی داشته باشد.
به عبارت دیگر فرایندی تحویلناپذیر است که تمام وضعیتهایش با هم مرتبط باشند.
برای مثال در قدم زدن تصادفی و همچنین قدم زدن تصادفی دایره ای هر حالتی در دسترس حالتهای دیگر است.
تعریف: اگر c یک مجموعه از حالتها باشد به طوریکه از حالتهای خارج c نتوان به حالتهای c رسید آنگاه c را یک مجموعه بسته نامند.
بنابراین اگر c یک مجموعه بسته باشد و اگر آنگاه –Pij=0 در این حالت چون همیشه یکی از حالتها صفر است، این مجموعه همواره برابر صفر می باشد و در حالت کلی ، بنابراین هیچ حالتی خارج c نمی تواند به حالتی در c برسد در هر تعداد انتقالها.
مجموعه بسته c می تواند تک عضوی یا چند عضوی باشد.
اگر i یک حالت جاذب باشد آنگاه .
اگر سیستم وارد حالت جاذب شود، نمی تواند از آن خارج شود.
در یک زنجیر مارکف و ماتریس احتمال متناظرش که تحویلناپذیر هستند هیچ مجموعه بسته ای به غیر از مجموعه تمام حالتها وجود ندارد.
در یک زنجیر با فضای حالتهای(1,2,3,…,n,…) فرض کنید زیر مجموعه حالتهای(1,2,…,r) را از مجموعه بسته c در نظر بگیرید.
بنابراین ماتریس سمت چپ بالایی در P در خود یک ماتریس تصادفی است و ما می توانیم P را به صورت مقابل نمایش دهیم: (6-62) که W,u ماتریس های مربعی و Pij=0 هر گاه متعلق به متمم c باشد.
پس (6-63) که اگر اما .
از این گذشته می تواند نشان دهنده این باشد که اگر j,i هر دو عضو c باشند احتمالهای انتقال با جمع بستن روی فقط مجموعه بدست می آید.
برای همه این مطالب صحیح است البته در صورتی که j,i هر دو عضو متمم مجموعه c بوده و جمع نیز متمم c بسته شود.
به عنوان مثال ماتریس 7*7 روبرو را بررسی می کنیم به طوریکه همه aij>0 نشان دهنده احتمالهای ثبت هستند.
چون 24a و 23a تنها عوامل غیرصفر سطرهای دوم و سوم هستند.
24a=33a=1 و حالت 3 جاذب است.
از حالت 2 می توان به حالت 4 و از حالت 4 به 2 یا به خودش رسید بنابراین{4و2} یک مجموعه بسته است.
به طور مشابه از 1 به 5 و 7 و از 5 به 7و1 و همچنین از 7 به 1 و 5 و 7 می توان رسید، در نتیجه{7و5و1} مجموعه بسته است از حالت 6 می توان به هر 7 حالت رسید.
تناوب زنجیر مارکف: (20) تعریف: دوره تناوب وضعیت i، که به صورت نوشته می شود، عبارت است از بزرگترین مقسوم علیه مشترک(ب.م.م) تمام اعداد صحیح n1 که به ازای آنها اگر به ازای هر تعریف می کنیم d(i)=0 در یک زنجیر مارکف n حالتی با ماتریس احتمال انتقال روبرو هر وضعیت دارای دوره تناوب n است.
قضیه: هر گاه آنگاه d(i)=d(j) (6-64) یک حکم نشان می دهد که دوره تناوب در هر رده وضعیتهای مرتبط ثابت است.
به عبارتی دیگر حالت j را متناوب با دوره تناوب T گوئیم هر گاه بازگشت به این حالت فقط در لحظات T، T2، T3،… امکان پذیر باشد.
یعنی به ازای هر حالتمان نامتناوب است اگر T>1 وجود نداشته باشد.
برای مثال در مدل قدم زدن تصادفی نامقید و مدل قدم زدن تصادفی دایره ای همه حالتها دارای دوره تناوب 2 هستند.
قضیه: هر گاه حالت iدارای دوره تناوب d(i) باشد، آنگاه عددی صحیح مانند N وابسته به i هست به طوری که به ازای هر عدد صحیح nN داریم، (6-65) این قضیه حکم می کند که بازگشت به وضعیت i می تواند در تمام مضارب به قدر کافی بزرگ دوره تناوب d(i) رخ دهد.
قضیه: هر گاه آنگاه به ازای هر n(عدد صحیح مثبت) به قدر کافی بزرگ (6-66) تعریف: در هر زنجیر مارکف تحویلناپذیر dx تابت است و به حالت a بستگی ندارد.
به عبارت دیگر به ازای هر x از فضای حالتها dx=d.
حالتهای گذرا و بازگشتی: (18) از حالت دلخواه نامشروع کنید مهمترین سوال این است که آیا سیستم مطمئنا به حالتی مشابه باز می گردد.
اگر چنین است، به عنوان یک سوال، به طور متوسط چقدر طول می کشد تا این حادثه رخ دهد؟
تعریف می کنیم به ازای هر عدد صحیح n1: (6-67) به طوریکه می بینیم نشان دهنده احتمال اولین گذر از I به j در n مرحله است.
توجه کنید نشان دهنده احتمال رسیدن از I به j در n مرحله است اما نه لزوما برای اولین بار.
البته به آسانی می توان یک رابطه بین برقرار نمود.
با شروع از I می توان به ازای هر در مرحله rام برای اولین بار به j رسید، و در n-r مرحله باقیمانده با احتمال در j باقی می ماند.
این رابطه با جمع بستن روی تمام مقادیری که r می تواند اختیار کند به صورت زیر در می آید: (6-68) شرایط اولیه این مجموع را به صورت در نظر می گیریم.
قرار می دهیم را به ترتیب تابع مولد گشت و .
پس خواهیم داشت: (6-70) به ازای مقدار ویژه i=j به فرمول مفید زیر می رسیم: (6-71) در نتیجه: به وضوح (6-73) احتمال اولین گذر نشان می دهد که سیستم با شروع از I یا دیرتر از حالتهای دیگر به j می رسد.
بنابراین همیشه fij1 و زمانی که ، رشته نشان دهنده یک توزیع احتمال خاص می باشد.
اشاره می کنیم که توزیع اولین گذر برای حالت j با تعریف به صورت(6-67) می باشد.
برای حالت خاص نشان دهنده توزیع زمان بازگشت به j است و اگر yi نشان دهنده متغیر تصادفی زمان بازگشت به j باشد آنگاه: (6-74) که نشان دهنده میانگین زمان بازگشت به حالت j می باشد.
تعریف: حالت j را جاذب گویند هر گاه fij=1( با آغاز از j مطمئنا به آن باز خواهیم گشت) و اگر fij تعریف: حالت خاص j را خنثی نامند اگر میانگین زمان بازگشت تعریف شده در(6-75) بی نهایت باشد یعنی و j غیر خنثی است اگر .
می توان از تعریف حالتهای گذرا- بازگشتی و متناوب ذکر شده در فوق استفاده نموده و تعریف دیگری بجز تعریف ارائه شده برای زنجیر ارگودیک ارائه نمود.
تعریف: یک حالت جاذب، غیرخنثی و نامتناوب را حالت ارگودیک گویند و زنجیری که تمام حالتهایش ارگودیک باشد، زنجیر ارگودیک یک نام دارد.
قضیه: 1) حالت I جاذب است اگر و فقط اگر و گذراست اگر و تنها اگر اگر j یک حالت گذرا باشد، برای هر i داریم: 2) j یک حالت جاذب خنثی است اگر و تنها اگر و در این حالت به ازای هر i: وقتی که 3) حالت جاذب نامتناوب j ارگودیک است اگر و فقط اگر البته زمانی که (6-76) 4) اگر j یک حالت جاذب متناوب با دوره تناوب T باشد، آنگاه: (6-77) بنابراین بازگشت به یک حالت جاذب با احتمال یک، حتمی است.
قضیه: اگر حالت آغازین ناجاذب باشد آنگاه با احتمال یک سیستم بی نهایت بار به i بار می گردد وقتی که .
اگر i یک حالت گذرا باشد اغلب سیستم به تعداد متناهی و محدود به i باز می گردد و بعد از چند بازگشت خاص سیستم هرگز به I باز نخواهد گشت.
قضیه: اگر j در دسترس نابود و j جاذب باشد، آنگاه i نیز قابل دسترس به j بوده و جاذب است.
اگر زنجیر مارکف تحویلناپذیر باشد آنگاه همه حالتها در دسترس یکدیگرند و همه حالتها از یک نوع هستند یا همگی جاذبند و یا همه گذرا هستند.
قضیه: اگر زنجیر مارکف تحویلناپذیر باشد آنگاه همه حالتها یا متناوبند و یا متناوب با دوره تناوب یکسان هستند.
به ازای هر حالت جاذب i زیر مجموعه ای از c(مجموعه تمام حالتها) وجود دارد به طوریکه در دسترس i هستند.
طبق قضایای فوق در یک مجموعه بسته تحویلناپذیر تمام حالات جاذب و در دسترس یکدیگرند.
به علاوه برای هر زوج حالات I و j در c داریم: (6-78) fij=1 , fji=1 برای به اثبات رساندن دو مطلب فوق می توانیم بدین صورت استدلال کنیم: را احتمال این پیشامد که با شروع از حالت i سیستم بدون بازگشت با i وj برسد و بعد از رسیدن به j احتمال اینکه هرگز به i بازنگردد را 1-fji و احتمال عدم بازگشت منجر می باشد.
پس از fji=1، به ازای رسیدن به هر j با شروع از i که جاذب است.
از آنجا که j هم جاذب است پس fij=1.
اگر c را مجموعه تمام حالاتی در نظر بگیریم که با شروع از I می توان به آنها رسید.
آنگاه تمام آنها جاذنبر و در دسترس یکدیگر.
با همین شیوه استدلال به این نتیجه می رسیم که(6-78) برای هر زوج در c صحیح است.
طبق(6-78) با شروع از هر حالتی در c، انتقال به هر یک از دیگر حالات c حتمی است و امکان رفتن به حالتی خارج c وجود ندارد.
بنابراین هر حالت جاذب شامل یک مجموع بسته تحویلناپذیر است که بقیه اعضایش هم جاذنبد و در دسترس یکدیگر می باشند.
به عنوان نتیجه اینکه با شروع از حالت جاذب نمی توان به حالت گذرا رسید.
یعنی اگر iجاذب و j گذرا باشد آنگاه fij=0 در مجموع اگر یک زنجیر شامل هر دو حالت جاذب و گذرا باشد آنگاه ماتریس احتمال انتقال P می تواند به صورت احراز شود.
که آوردن u مربوط به حالتهای جاذب است که ممکن است شامل چندین زیر مجموعه تحویلناپذیر باشد.
قضیه: یک زنجیر مارکف می تواند به روش یکتایی به مجموعه های نامتداخل C2,C1,T افراز شود که T شامل همه حالات گذرا و C2,C1 و مجموعه های تحویلناپذیر بسته ای هستند که شامل حالات جاذب از یک نوع می باشند.
به علاوه اگر نامتعلق به Cr باشد آنگاه: (6-79) به ازای هر k که عضو Cr نیست fik=0 و به ازای هر j عضو Cr fij=1 قضیه: در یک زنجیر متناهی همه حالتها نمی توانند گذرا باشند.
علاوه بر این، اگر تمام حالتها در دسترس یکدیگر باشند آنگاه همه آنها جاذب غیرخنثی هستند.
البته یک زنجیر متناهی بیش از یک مجموعه بسته از حالتهای جاذب داشته باشد.
در این صورت، مسلما تمام موقعیتها نمی توانند در دسترس یکدیگر باشند.
معادله تجدید گسسته: (18) قضیه: فرض کنید در دنباله هایی باشند که بوسیله اندیس گذاری شده اند.
همچنین و بزرگترین مقسوم علیه مشترک اعداد صحیح k که به ازای آنها مساوی یک باشد.
هر گاه معادله تجدید (6-80) به ازای بوسیله دنباله که اقلام از اعداد حقیقی برقرار باشد، آنگاه وجود دارند (6-81) در حالت روابط حدی هنوز برقرارند مشروط بر اینکه: (6-82) تبصره: در حالتی که به ازای معادله تجدید(6-80) به صورت زیر درخواهد آمد: (6-83) قضیه( قضیه اصلی حد تجدید زنجیرهای مارکف) الف)یک زنجیر مارکف نامتناوب تحویلناپذیر بازگشتی را در نظر می گیریم.
فرض کنید Pij(n) احتمال ورود به وضعیت I در انتقال nام n=0,1,… به شرط X(0)=I(وضعیت اولیهi است) باشد.
فرض کنید احتمال اولین بازگشت به وضعیت i در انتقال nام باشد که لذا (6-84) اگر n=0 اگر n>0 در اینصورت (6-85) ب) تحت شرایط(الف) (6-86) تبصره: فرض کنید c یک رده بازگشتی است.
پس به ازای و هر از این رو به محض ورود به c امکان خروج وجود ندارد پس نتیجه می شود که زیر ماتریس ، یک ماتریس احتمال انتقال است و زنجیر مارکف مربوطه تحویلناپذیر و بازگشتی است بنابراین قضیه حد برای هر دوره بازگشتی نامتناوب صادق است.
تبصره: اگر وقتی می توان ثابت کرد که (6-89) لذا اگر ناعضوی از یک رده نامتناوب بازگشتی باشد، (6-90) که در آن ، میانگین زمان بازگشت است.
اگر ناعضوی از یک رده متناوب بازگشتی یا دوره تناوب d باشد، اگر m مضربی از d نباشد.
(6-91) تعریف: هر گاه در یک رده بازگشتی متناوب به ازای یک i، آنگاه به ازای هر j در رده در این حالت، رده ها بازگشتی مثبت یا ارگودیک قوی می نامیم و اگر و رده بازگشتی باشد، رده را بازگشتی پوچ یا ارگودیک ضعیف می نامند.
قضیه: در یک رده نامتناوب بازگشتی مثبت با وضعیتهای …،2،1،0=j،