دانلود تحقیق پردازش موازی

بحث پردازش موازی بحث جدیدی نبوده و مقدمات فکری آن را می توان از سالهای 1920میلادی در کتب مقالات پیدا کرد .موفقییت پردازش موازی از سالهای 1960شروع شد ،ظهور وپیدایش نیازهای محاسباتی – عملیاتی و کاربردی بلادرنگ موجب گردید.

تعداد زیادی پروژه طراحی وساخت سیستم های تحقیق وپژوهش درسیستمهای نرم افزاری وسخت افزاری پردازش موازی گردید،موجب تحول وتکامل سریع پردازش موازی در اوایل نسل پنجم گردید .تحول پیدا شده در ده ساله اخیر موجب گردید تا امکان بهم بندی سیستم های پردازش موازی از چند پردازش گر به چند صد هزار پردازشگر برسد ،زبان های برنامه نویسی و همراه با سیستم های عامل بهتر وکاراتر به وجود آید ،توسعه وگسترش شبکه های ارتباطی برای ارتباط واتصال واحدهای عملیاتی قدم مهم دیگری بود ، که در این دوران بر داشته شد و محدودیت های اتصال واحدهای عملیاتی ودستگاههای ورودی و خروجی را از میان برداشت.دلیل رواج و توسعه سیستم های پردازش موازی برای تأمین نیازهای محاسباتی و عملیاتی هر کاری احتیاج به قدرت ویژه ای است که تأمین آن امروزه از سه طریق استفاده از سیستم های سوپر کامپیوترها و یا سیستم های پردازش موازی ممکن ومیسر است.

هزینه سیستم های پردازش موازی به ازای توان اجرایی یک میلیون دستورالعمل در ثانیه کمتر از دو سیستم دیگر خواهد بود ودلیل آن استفاده از واحدهای معمولی کامپیوتری در سیستم های پردازش موازی است و باعث ایجاد قدرت محاسباتی وعملیاتی ارزانتر می¬شود .

1-1 پردازش موازی
پردازش ( محاسبه ی ) موازی ، شکلی از پردازش است که در آن دستورالعملهای بسیاری در یک زمان و به صورت همزمان صورت می گیرند ( انجام می شوند ) ، و بر اساس این اصل اجرا می شوند که مسائل بزرگ را اغلب می توان به مسائل کوچکتر تقسیم کرد ، که سپس با هم و به صورت همزمان حل می شوند .( به صورت موازی ) .
چندین شکل مختلف از محاسبه ی ( پردازش ) موازی وجود دارد : توازی سطح – بیت ، توازی سطح – دستورالعمل ، توازی داده ها ، و توازی کار .

این شکل از پردازش در طول سالهای زیادی مورد استفاده قرار می گرفته است ، مخصوصاً در پردازش با اجرای بالا ( عملکرد بالا ) ، اما علاقه به آن در سالهای اخیر افزایش یافته است به دلیل محدودیت های فیزیکی که از مقیاس گذاری فرکانس جلوگیری می کند .

پردازش موازی ، الگوی برجسته ای در ساخت کامپیوتر به حساب می آید ، مخصوصاً به شکل پردازش گرمای چند هسته ای ، هر چند ، در سالهای اخیر ، مصرف انرژی توسط کامپیوترهای موازی باعث نگرانی و یک مسئله ی دارای اهمیت شده است .

کامپیوترهای موازی را می توان به طور کلی طبق سطحی که چند هسته ای و چند پردازش گر که دارای عوامل پردازش متعددی در یک دستگاه ساده می باشند ، در حالی که دسته ها ، MPP ها و شکبه ها از کامپیوترهای متعدد استفاده می کنند تا بر روی همین فعالیت کار کنند .

نوشتن برنامه های کامپیوتر موازی نسبت به کامپیوترهای ترتیبی بسیار سخت تر است ، چون همزمانی ، دسته های جدیدی از خرابی های نرم افزاری بالقوه را ایجاد می کند ، که در میان آنها شرایط کار کردن ( در جا کار کردن ) رایج ترین می باشد .
ارتباط و همزمانی بین کامپیوترهای زیر وظیفه یکی از بزرگترین موانع برای دستیابی به اجرای خوب برنامه ی موازی می باشد .

سرعت بالای یک برنامه در نتیجه موازی سازی توسط قانون آمدال داده شده است .

قبلاً ، نرم افزار کامپیوتر برای پردازش دنباله دار ( مداوم ) نوشته شده است .
برای حل یک مسئله ، یک الگوریتم ایجاد می شود و به عنوان جریان دنباله داری از دستور العمل ها اجرا می شود .

این دستورالعمل ها روی یک واحد پردازش مرکزی روی یک کامپیوتر اجرا می شوند .

در یک زمان مشخص فقط یک دستورالعمل ممکن است اجرا شود ، - بعد از آن که یک دستورالعمل تمام شد ، دستورالعمل بعدی اجرا می شود .

از طرف دیگر ، پردازش موازی از عوامل پردازش متعددی به طور همزمان استفاده می کند تا یک مسئله راحل کند .

این کار با شکستن مسئله ( تقسیم کردن مسئله ) به بخش های مستقل انجام می شود تا بنابراین هر عامل ( عنصر ) پردازش بتواند بخش الگوریتم خود را به طور همزمان با دیگر بخش ها اجرا کند .

عوامل پردازش می توانند گوناگون باشند و شامل منابعی مانند یک کامپیوتر ساده با چندین پردازشگر ، چندین کامپیوتر شبکه بندی شده ، سخت افزار ویژه، یا ترکیی از هر کدام از این ها باشند .

مقیاس گذاری فرکانس دلیل اصلی برای پیشرفت در اجرای ( عملکرد ) کامپیوتر از اواسط 1980 تا سال 2004 بوده است .

زمان اجرای یک برنامه با تعداد دستورالعمل هایی که توسط زمان میانگین هر دستور العمل ضرب می شوند ( دو برابر می شوند ) برابر است .

با ثابت ماندن همه ی چیزها دیگر ، افزایش فرکانس سرعت ، زمان میانگین که برای اجرای هر دستورالعمل طول می کشد را کاهش می دهد .

بنابراین افزایش در فرکانس ، زمان اجرای همه ی برنامه های پردازش – کران دار را کاهش می دهد .

برای حل یک مسئله ، یک الگوریتم ایجاد می شود و به عنوان جریان دنباله داری از دستور العمل ها اجرا می شود .

هر چند ، مصرف نیرو توسط یک چیپ ( مدار مجتمع ) با تساوی F × V2 × C = P داده شده9 است ، که P نیرو ، C ظرفیت و توانایی که در هر دوره ساعت تغییر می کند ( نسبت به تعداد ترانزیستورهایی که ورودی آنها تغییر می کند ) ، V ولتاژ ، و F فرکانس پردازشگر ( در هر ثانیه می چرخد ) می باشد .

افزایش در فرکانس ، میزان نیروی مصرف شده در یک پردازشگر را افزایش می دهد .

افزایش مصرف نیروی پردازشگر باعث کنسل شدن پردازشگرهای Tejas و Jayhawk در می سال 2004 شد ، که به طور کلی به عنوان پایان مقیاس گذاری فرکانس به عنوان الگوی اصلی ساخت کامپیوتر ذکر شده است .

قانون مور مشاهده ی تجربی است که تراکم ترانزیستور در یک پردازشگر کوچک ( میکرو) هر 18 تا 24 ماه دو برابر می شود .

علی رغم مسائل مربوط به مصرف نیرو ، و پیش بینی های تکراری از پایان آن ، قانون مور هنوز موثر است .

با پایان مقیاس گذاری فرکانس ، این ترانزیستورهای اضافی را می توان برای افزودن سخت افزار اضافی برای پردازش موازی به کار برد .

قانون آمدال و قانون گاستافسون : زمان اجرای برنامه و سرعت یک برنامه با موازی سازی زیر بهینه .

منحنی آبی ، افزایش سرعت ( خطی ) که در مورد بهینه در برنامه بودجود می آید را ترسیم می کند ، در حالی که منحنی بنفش افزایش سرعت واقعی (زیر بهینه ) را نشان میدهد .

به همین ترتیب ، منحنی زرد ، زمان اجرایی را که برنامه در مورد بهینه تجربه خواهد کرد را نشان می دهد .

که p تعداد پردازشگرها ، s افزایش سرعت و بخش غیر قابل موازی شونده ی فرآیند می باشد .

قانون آمدال یک اندازه ی مساله ثابت را فرض می کند و این که اندازه ی بخش بعدی مستقل از تعداد پردازشگر ها می باشد ، در حالی که قانون گاستافسون این فرضیه ها را در نظر نمی گیرد .

وابستگی ها : فهم و وابستگی های داده ها و (اطلاعات ) در اجرای الگورتیم های موازی مهم و اساسی است هیچ برنامه نمی تواند سریع تر از بلندترین زنجیره ی محاسبات وابسته اجرا شود ( که به عنوان مسیر اصلی شناخته شده است ) چون محاسباتی که بستگی به محاسبات قبلی در زنجیره دارند باید به ترتیب اجرا شوند .

هر چند اکثر الگوریتم ها برای اجرای محاسبات مستقل به طور موازی وجود دارند .

فرض کنیم pi و pj دو بخش از برنامه می باشد .

شرایط برنستین زمان توصیف می شود که این دو مستقل از همدیگر هستند و می توانند به طور موازی اجرا شوند .

فرض کنیم Li همه ی متغیرهای ورودی به pi و oi متغیر های خروجی باشند ، و به همین ترتیب برای pj .

pI و pj از هم مستقل هستند اگر یکدیگر را برآورده کنند .

اختلال موقعیت اول جریانی از وابستگی را ایجاد می کند که باوضعیت اول مطابق است و نتیجه ای را ایجاد می کند که توسط وضعیت دوم مورد استفاده قرار می گیرد .

موقعیت دوم یک ضد وابستگی را نمایان می کند ، هنگامی که وضعیت اول متغیری را که توسط عبارت دوم مورد نیاز است بیش از حد می نویسد .

موقعیت سوم و نهایی ، 4 ، یک وابستگی خروجی است .

هنگامی که دو متغیر برای موقعیت مشابه نوشته می شوند ، خروجی نهایی باید از وضعیت دوم بلند شود ( ایجاد شود ) .

عملیات زیر را در نظربگیرید ، که چندین نوع وابستگی را شرح می دهند : عملیات 3 در (a.b ) Dep را نمی توان قبل ازعملیات 12 اجرا کرد ( یا حتی موازی با آن ) ، چون عملیات 3 نتیجه ای از عملیات 2 را مورد استفاده قرار می دهد .

این امر شرایط 1 را مختل می کند .

و بنابراین جریانی از وابستگی را ایجاد میکند .

در این مثال هیچ وابستگی بین دستورالعمل ها وجود ندارد ، بنابراین می توان همه آنها را به صورت موازی اجرا کرد .

شرایط برنستین این امکان را به حافظه نمی دهد که بین فرآیندهای مختلف تقسیم شود .

به همین دلیل برخی ابزرا تقویت برای ترتیب بین دستیابی ها لازم است ، مانند مخابرها ، موانع ، یا برخی دیگر از روش های همزمان سازی شرط اصل ، منع ( جلوگیری ) متقابل ، همزمانی ، و کاهش سرعت موازی : کارهای زیر مجموعه در یک برنامه های موازی معمولاً نخ ( رشته ) نامیده می شوند .

برخی ساختارهای کامپیوتر موازی از رشته های کوچکتر و سبک تر استفاده می کنند که فیبر نامیده می شود ، در حالی که دیگر کامپیوترها از رشته های بزرگتر که فرآیند نامیده می شوند ، استفاده می کنند هر چند رشته ها به طور کلی به عنوان یک اصطلاح کلی برای کارهای زیر مجموعه پذیرفته شده است .

رشته ها باید اغلب برخی متغیرها را که بین آنها تقسیم می شود به روز کنند .

این دستوالعملها بین دو برنامه ممکن است در هر ترتیبی دارای صفحه سفید شوند .

برای مثال ، برنامه زیر را در نظر بگیرید : اگر دستورالعمل 1B بین 1A و 3A اجرا شود ، یا اگر دستورالعمل 1A بین 1B و 3B اجرا شود ، برنامه اطلاعات ( داده های ) غلط ایجاد خواهد کرد .

این مسئله به عنوان شرط اصل شناخته شده است .

برنامه ریز باید از یک قفل استفاده کند تا منع ( جلوگیری) متقابل را ایجاد کند .

قفل یک ساختار زبان برنامه ریزی است که به یک رشته امکان کنترل یک متغیر را میدهد و دیگر رشته ها را از خواندن یا نوشتن آن منع می کند ، تا زمانی که آن متغیر باز شود .

رشته ای که قفل را نگه داشته است آزاد است که بخش مهم خود را اجرا کند ( بخشی از یک برنامه که نیاز به دسترسی انحصاری به برخی متغیرها دارد ) ، و هنگامی که تمام می شود داده ها را باز کند .

بنابراین ، برای تضمین اجرای صحیح برنامه ، برنامه ی بالا را می توان برای استفاده از قفل ها باز نویسی کرد : یک رشته به طور موفقیت آمیزی متغیر V را قفل خواهد کرد ، در حالی که رشته ی دیگر باز خواهد کرد – نمی تواند پیش رود ( پیشرفت کند ) تا زمانی که V دوبار باز شود .

این امر اجرای صحیح برنامه را تضمین می کند .

قفل ها ، در حالی که برای تضمین اجرای صحیح برنامه لازم هستند ، می توانند به شدت سرعت یک برنامه را کاهش دهند .

قفل کردن چندین متغیر با استفاده از قفل های غیر اتمی امکان قفل کردن چندین متغیر بااستفاده از قفل های غیر اتمی امکان قفل کردن محکم ( باز نشونده ی) برنامه را ایجاد می کند .

یک قفل الهی چندین متغیر را در یک زمان قفل می کند ، هیچ کدام از آنها را قفل نمی کند .

اگر دو رشته هر کدام قفل کنند ، این امکان وجود دارد که یک رشته چنین موردی ، هیچ کدام از رشته ها نمی توانند کامل شوند ، و قفل محکم (باز نشونده ) نتیجه می شود .

بسیاری از برنامه های موازی نیاز دارند که کارهای زیر مجموعه شان در همزمانی ( در یک زمان ) عمل کنند .

این کار نیاز به استفاده از یک مانع دارد .

موانع به طور نمونه با استفاده از یک قفل نرم افزاری اجرا می شوند .

یک گروه ( طبقه ) از الگوریتم ها ، که به عنوان الگوریتم های عاری از قفل و عاری از انتظار شناخته شده اند ، با هم از استفاده از قفل ها و موانع اجتناب می کنند .

هر چند ، اجرای این روش به طور کلی سخت است و نیاز به ساختارهای اطلاعاتی دارد که به طور صحیح طراحی شده اند .

همه ی موازی سازی ها باعث افزایش سرعت نمی شوند ، به طور کلی ، همچنان که یک کار به رشته های بیشتر و بیشتری تقسیم می شود ، آن رشته ها بخش فرآینده ای از زمان خود را برای ارتباط با یکدیگر صرف می کنند .

سرانجام ، زمان اضافی از ارتباط ، زمان صرف شد برای حل مساله را تحت سلطه قرار می دهد ، و موازی سازی بیشتر ( یعنی تقسیم کار به رشته های بیشتر ) میزان زمان مورد نیاز برای به پایان رساندن کار را به جای آن که کاهش دهد ، افزایش می دهد .

این مساله به عنوان کاهش میزان شناخته شده است .

سطح ( بافت ) ظریف ، سطح زمخت ، و توازی اختلالی : کاربردها اغلب طبقه بندی می شوند طبق اینکه کارهای زیر وظیفه شان ( زیر مجموعه ) چند وقت یکبار نه به تطابق یا برقراری ارتباط با یکدیگر دارند .

یک کاربرد ، توازی با سطح (بافت ) ظریف را نشان می دهد اگر کارهای زیر مجموعه ی آن باید در هر ثانیه چندین بار ارتباط برقرار کند ، توازی با سطح زمخت را نشان می دهد اگر در هر ثانیه چندین بار ارتباط برقرار نکنند ، و به طور اختلالی موازی میشود اگر به ندرت یا هرگز ارتباط برقرار نکند .

کاربردهای موازی اختلالی آسان ترین شیوه برای موازی سازی به حساب می آیند .

2-1 مدلهای پایداری موضوع اصلی : مدل پایداری ، لسلی سمپورت ابتدا مفهوم پایداری مداوم را تعریف کرد .

سمپورت همچنین برای کارش در ایجاد نرم افزار نوع لاتکس (Lateex ) معروف است .

زبانهای برنامه ریزی موازی و کامپیوترهای معروف است .

مدل پایداری قوانینی را تعریف میکند برای اینکه چگونه اجراها روی حافظه ی کامپیوتر اتفاق می افتند و چه نتایجی ایجاد میشوند .

یکی از مدل های پایداری اولیه ، مدل پایداری مداوم لسلی سمپورت بوده است .

پایداری مداوم خاصیت ( ویژگی ) یک برنامه ی مداوم ایجاد می کند .

به طور خاص ، یک برنامه به طور مداوم پایدار است اگر ....

نتایج هر اجرا به همان صورت باشد که اجراهای همهی پردازش گرها در تربیت مداوم اجرا شوند ، و اجراهای هر پردازشگر منفرد ( تکی ) در این توالی در تربیتی که توسط برنامه اش مشخص شده است ، ظاهر شوند .

حافظه ی تبادلی نرم افزار یک نوع رایج ( معمول ) از مدل پایداری است .

حافظه ی تبادلی نرم افزار ، مفهوم تبادلات اتمی را از تئوری پایگاه داده ها قرض می گیرد و آن ها را برای دسترسی های حافظه به کار می گیرد .از نظر علم ریاضی ، این مدل ها را می توان در چندین روش ارائه داد (نمایش داد ) .

شبکه های پتوی (Petrinets ) ، که در پایان نامه ی دکترای کارل آدام پتری در سال 1962 معرفی شدند ، تلاش اولیه ای بودند برای رمز دار کردن قوانین مدلهای پایداری تئوری جریان داده ها بعداً بر اساس اینها ساخته شد ، و ساختارهای جریان داده ها ایجاد شدند تا ازنظر فیزیکی ایده های تئوری جریان داده ها را اجرا کنند .

با آغاز شدن در اواخر دهه ی 1970 ، حسابهای فرآیند مانند حساب سیستمهای ارتباطی و فرآیندهای مداوم ارتباطی توسعه یافتند تاامکان دلیل جبری را درباره ی سیستمایی که از اجزای تبادلی تشکیل شده اند ، فراهم سازند ، افزودن های اخیر به خانواده ی حساب فرآیند ، مانند حساب – TT ، قابلیت برای دلیل آوردن درباره ی تحلیل موضعی (مکان شناسی ) پویا را ایجاد کرده اند ، منطق هایی مانند TLAT سمپورت ، و مدل های ریاضی مانند نشانه ها و نمودارهای ( دیاگرام های ) واقعهی نمایش ، همچنین توسعه یافتند تا رفتار سیستم های همزمان را توصیف کنند .

1-2- 1رده بندی فلین : مایکل جی .

فلین یکی از ابتدایی ترین سیستم های طبقه بندی را برای کامپیوترها و برنامه های موازی ( و مداوم ) تولید کرده است ، که هم اکنون به عنوان رده بندی فلین شناخته شده است .

فلین برنامه ها و کامپیوترها را طبقه بندی کرده است توسط این که آیا آنها با استفاده از یک گروه ساده یا چندین گروه از دستورالعمل ها عمل می کرده اند ، و اینکه آیا این دستوالعمل ها از یک گروه ساده یا چندین گروه از اطلاعات ( داده ها ) استفاده می کردند .

طبقه بندی تکی ( ساده ) – دستوالعمل – تکی ساده ) داده ها (SISD ) ( معادل ) مطابق با یک برنامه ی کاملاً مداوم است .

طبقه بندی تکی – دستوالعمل – متعدد – داده ها ( SIMD ) شبیه به انجام همین عمل به طور مکرر روی گروه بزرگی از اطلاعات می باشد .

این امر معمولاً در کاربردهای پردازش علامتی انجام می شود .

طبقه بندی متعدد – دستوالعمل – تکی – داده ( MISD ) یک طبقه بندی است که به ندرت استفاده می شود .

در حالی که ساخت های کامپیوتر برای ارتباط با این ، کاربردهای کمی راتوصیه کرده اند با این طبقه متناسب می باشد .

برنامه های متعدد – دستورالعمل – متعدد – داده ها رایج ترین نوع برنامههای موازی می باشند .

طبق گفته ی دیوید ای .

پترسون و جان ال هنسی ، « البته برخی ماشینها مخلوطی از این فهرست ها هستند ، اما این مدل کلاسیک دوام آورده است چون ساده است و فهم آن آسان است وتقریب اولیه ی خوبی را می دهد .

همچنین شاید به دلیل فهم بودن آن است که پر کارترین طرح است .

3-1 انواع توازی : موضوع اصلی : توازی سطح بیت : از زمان پیدایش تلفیق با معیار بسیار زیاد (VLSL ) تکنولوژی فابریک سازی مدار مجتمع ( چیپ ) کامپیوتر در دهه ی 1970 تا حدود 1986 ، افزایش سرعت در ساختار کامپیوتر با دو برابر کردن اندازه ی واژه ی کامپیوتر انجام شده است – میزان اطلاعاتی که پردازش گر باید اجرا کند ، کاهش می دهد تا عملکردی را بر روی متغیرهایی اجرا کند که اندازه ی آنها بیشرت از اندازه ی واژه است .

برای مثال ، جایی که یک پردازش گر هشت بیت باید 2 عدد صحیح 16 بیتی را اضافه کند ، پردازش گر باید ابتدا 8 بیت با ترتیب پایین تر از هر عدد صحیح را با استفاده از دستورالعمل افزودن استاندارد بیفزاید ، سپس 8 بیت با ترتیب بالاتر را با استفاده از دستوالعمل افزودن با حمل و بیت حمل از افزایش ترتیب پایین تر بیافزاید ، بنابراین ، یک پردازشگر 8 بیتی به دو دستورالعمل نیاز دارد تا یک اجرای ساده را کامل کند ، در جایی که یک پردازش گر 16 بیتی می تواند اجرا ( عملکرد ) را با یک دستورالعمل ساده و تکی کامل کند .

از نظر تاریخی ، پردازش گرهای کوچک 4 بیتی با پردازشگرهای کوچک 4 بیتی با پردازش گرهای کوچک 8 بیتی ، سپس 16 بیتی و سپس 32 بیتی جایگزین شده اند .

این روند به طور کلی با معرفی پردازش گرهای 32 بیتی به پایان رسیده است ، که در محاسبه ی با هدف کلی به مدت دو دهه یک استاندارد بوده است .

اخیراً ( 2004-2003) با پیدایش ساختارهای 64 – X86 ، پردازش گرهای 64 بیتی رایج شده اند .

1-3-1 توازی سطح – دستوالعمل موضوع اصلی : توازی سطح دستورالعمل : یک خط لوله ی 5 مرحله ای در یک دستگاه RISC ( IF = فیچ دستورالعمل ، ID = رمز دستوالعمل ، EX = اجرا ، MEM = دست یابی حافظه ، WB = ثبت نوشتن ) .

یک برنامه ی کامپیوتر جریانی از دستورالعمل هاست که توسط یک پردازش گر اجرا می شوند .

این دستورالعمل ها را می توان دوباره ترتیب بندی کرد و در گروه ها یی ترکیب کرد که سپس به شکل موازی اجرا می شوند بدون تغییر در نتیجه ی برنامه .

این به عنوان توازی سطح دستورالعمل شناخته شده است .

پیشرفت در توازی سطح دستورالعمل ، ساختار کامپیوتر را از اواسط دهه ی 1980 تا دهه ی 1990 تحت سلطه داشته است .

پردازش گرهای مدرن لوله های دستورالعمل چند مرحله ای دارند .

هر مرحله در خط لوله با یک عمل متفاوت که پردازش گر روی آن دستورالعمل در آن مرحله ا نجام میدهد مطابق است ، یک پردازش گر با یک خط لوله ی مرحله ی N می تواند N دستورالعمل مختلف در مرحله های مختلف تکامل داشته باشد .

یک نمونه ی مرسوم از پردازش گر خط لوله ای یک پردازش گر RISC است ، با 5 مرحله : مرحله ی دستورالعمل ، رمز گزاری ، اجرا ، دستیابی حافظه و نوشتن .

یک پردازش گرپنتیوم 4 یک خط لوله ای یک پردازش خط لوله ی 35 مرحله ای دارد .

یک پردازشرگی خط لوله ی 5 مرحله ای ، می تواند 2 دستورالعمل را در هر گردش بررسی کند .

می تواند 2 دستورالعمل در هر مرحله از خط داشته باشد ، به طورکل تا حدود 10 دستورالعمل ( به رنگ سبز نشان داده شده اند ) که به طور همزمان اجرا می شوند .

علاوه بر توازی سطح دستورالعمل از خط لوله ، بعضی پردازشگرها می توانند بیش از یک دستورالعمل را در یک زمان بررسی کنند .

این پردازشگرها به عنوان پردازش گرهای فرا اسکالر شناخته شده اند .

دستورالعمل ها می توانند با هم گروه بندی شوند فقط اگر هیچ وابستگی اطلاعاتی بین آنها وجود نداشته باشد .

امتیاز بندی و الگوریتم توماسولو دو تا از رایج ترین روش ها برای انجام اجرای از کار افتاده و توازی سطح دستورالعمل هستند .

2-3-1 توازی داده ها موضوع اصلی : توازی داده ها ( اطلاعات ) ، توازی اطلاعات توازی است که به طور ذاتی در حلقه های برنامه ای وجود دارد ، که بر توزیع اطلاعات در گروه های مختلف محاسبه متمرکز است تا به طور موازی پردازش شوند .

حلقه های موازی ( موازی کننده ) اغلب باعث توالی ها یا عملکردهای اجرایی مشابه می شوند که روی عوامل یک ساختار اطلاعاتی بزرگ اجرا می شوند .

بسیاری از کاربردهای علمی و مهندسی ، توازی اطلاعات ( داده ها ) را نشان می دهند .

یک وابستگی حمل – حلقه ، وابستگی یک تکرار حلقه روی خروجی یک یا تعداد بیشتری از تکرارهای قبلی می باشد .

وابستگی های حلقه – حمل شده از موازی سازی ( موازی شدن ) حلقه ها جلوگیری می کند .

برای مثال ، رمز کاذب زیر را در نظر بگیرید که چند عدد فیبو ناسی اول را محاسبه می کند .

این حلقه نمی تواند موازی شود چون CUR به خودش (PREV1 ) و PRV2 بستگی دارد ، که در هر تکرار حلقه محاسبه می شوند .

چون هر تکرار به نتیجه تکرار قبلی بستگی دارد ، آن ها نمی توانند به طور موازی اجرا شوند .

هر چه که اندازه ی مسئله بزرگ تر می شود ، میزان توازن اطلاعات موجود هم معمولاً بیشتر میشود .

3-3-1 توازی کار موضوع اصلی : توازی کار : توازی کار ویژگی یک برنامه ی موازی است که « محاسبات کاملاً متفاوت می توانند روی گروه های مشابه یا مختلفی از اطلاعات اجرا شوند ، این با توازی اطلاعات مخالف است ، که در آن یک محاسبه مشابه رو یگروه های مشابه یا مختلفی از اطلاعات اجرا می شود .

توازی کار معمولاً با اندازه ی یک مسئله مقیاس گذاری نمی شود .

سخت افزار .

حافظه و ارتباط : حافظه ی اصلی در یک کامپیوتر موازی یا حافظه ی تقسیمی است ( یا حافظه توزیعی است ( در آن هر عامل پردازش کنند ، فضای آدرس بومی خود را دارد ) .

حافظه ی توزیعی ( توزیع شده) به این حقیقت اشاره دارد که حافظه از نظر منطقی توزیع شده است ، اما اغلب به این معنی است که حافظه از نظر فیزیکی هم توزیع می شود .حافظه ی تقسیم شده ی توزیع شده ، ترکیبی از این دو روش است ، که عامل پردازش کننده حافظه ی بومی خود را دارد و روی پردازش گرهای غیر بومی به حافظه دست می یابد ( دسترسی دارد).

دستیابی به حافظه ی بومی معمولاً سریعتر از دستیابی به حافظیه غیر بومی است .

یک دید منطقی از طرح دستیابی حافظه ی غیر یکنواخت (NUMA ) .

پرداشگرها در یک راهنما می توانند به حافظه ی آن راهنما دست یابند با نهفتگی کمتر نسبت به اینکه میتوانند به حافظه در حافظه ی راهنمای دیگر دست یابند .

ساختارهای کامپیوتری که در آن ها هر عامل حافظه ی اصلی را می توان با نهفتگی و گستردگی برابر بدست آورد ، به عنوان سیستم های دستیابی به حافظه ی یکنواخت شناخته شده اند .

(UMA ) به طور خاص ، این را می توان فقط با یک سیستم حافظه ی تقسیمی ( تقسیم شده ) بدست آورد ، که در آن حافظه از نظر فیزیکی توزیع نشده است .

سیستمی که این ویژگی را ندارد به عنوان یک ساختار دست یابی حافظهی غیر یکنواخت (NUMA ) شناخته شده است .

سیستم های حافظه ی توزیع شده ، دستیابی حافظه ی غیر یکنواخت دارند .

سیستم های کامپیوتر از محزن ذخیره (نهانگاه ) استفاده می کنند .

حافظههای کوچک – سریع که نزدیک به پردازشگر قرار گرفته اند و کپی های موقتی مقادیر حافظه را ذخیره می کنند ( نزدیک به مفهوم منطقی و فیزیکی ) .

سیستم های کامپیوتری موازی مشکلاتی در رابطه با مخزن های دخیره دارند و آن اینکه ممکن است یک مقدار مشابه ( مورد مشابه ) را در بیش از یک مکان ذخیره کنند ، و با امکان اجرای غلط برنامه .

این کامپیوترها نیاز به یک سیستم انسجام مخزن دارند ،که ترتیبی از مقادیر مخزن را نگه می دارد و از نظر استراتژیکی آن ها را یکی از رایج ترین روش ها برای نگه داشتن ترتیب است یعنی اینکه تداوم مقادیر بدست آمده اند (دستیابی به کدام مقادیر انجام شده است ) و باید تصفیه شوند .

طراحی سیستم های انسجام مخزن بزرگ و با عملکرد بالا ، یک مسئله ی بسیار سخت در ساخت کامپیوتر می باشد .

در نتیجه ، ساختارهای کامپیوتری حافظه ی تقسیمی به خوبی سیستم های حافظه ی توزیعی ( توزیع شده ) مقیاس گذاری نمی کنند .

ارتباط پردازشگر – پرداشگر و پردازشگر – حافظه را می توان در سخت افزار در چندین شیوه اجرا کرد ( انجام داد ) ، شامل توسط حافظه ی تقسیمی ، کلید CROSSBAR ( خطوط هم راستا ) ، یک ردیف تقسیمی یا شبکه ی بین اتصالی از هزاران مکان شناسی شامل ستاره ، حلقه ، درخت ، مکعب ، مکعب پر ( یک مکعب با بیش از یک پردازشگر در یک گروه (حلقه )) ، یا شبکه ی N بعدی ، کامپیوترهای موازی که بر اساس شبکه های بین اتصالی هستند ، نیاز به نوعی مسیریابی ( مسیر سازی ) دارند تا عبور پیام ها را بین گروه های ( حلقه هایی ) که به طور مستقیم به هم متصل نیستند ممکن سازد .

محیطی کهبرای ارتباط بین پردازشگرها استفاده میشود.

احتمالاً در ماشین های چند پردازشگر بزرگ به صورت سلسله مراتبی می باشد .

4-1 گروه های ( رده های ) کامپیوترهای موازی کامپیوترهای موازی را می توان طبقه بندی کرد طبق سطحی که در آن سخت افزار از توازی حمایت می کند.این طبقه بندی به طور گسترده شبیه به فاصله ی بین گروه های ( حلقه های ) اساس محاسبه می باشد .

اینها به طور متقابل انحصاری نیستند ؛ برای مثال ، دسته های چند پردازشگر متقارن نسبتاً رایج هستند .

5-1 محاسبه چند هسته ای موضوع اصلی : محاسبه چند هسته ای ، یک پردازشگر چندهسته ای ، پردازشگری است که شامل چندین واحد اجرایی (هسته ) می باشد .

این پردازشگرها با پردازشگرهای فرا اسکالر ( سوپر اسکالر ) متفاوت هستند ، کمی می توانند چندین دستورالعمل را در یک دوره ( گردش ) از یک جریان دستورالعمل بررسی کنند ( رشته ) ؛ بر خلاف آن ، یک پردازشگر چند هستهای می تواند چندین دستورالعمل را در هر دوره از چندین جریان دستورالعمل بررسی کند .

چند رشته کردن همزمان ( که از آن HYPER TH READING بهترین نوع شناخته شده است ) شکل اولیه ی چند هستگی – فراوان بوده است (Pseudo – multicoreism ) .

پردازشگرهای که قابلیت چند رشته کردن همزمان را دارد ، فقط یک واحد ( هسته ی) اجرایی دارد ، اما هنگامی که آن واحد اجرایی بیهوده ( با استفاده ) است ، این پردازشگر از آن واحد اجرایی برای پردازش رشته ی دوم استفاده می کند .

خانواده های پردازشگر هسته و هسته ی 2 اینتل ، اولین ساختارهای چند هسته ای واقعی اینتل هستند .

پردازشگر میکرو سلولی 1BM ، که برای استفاده در پلی استیشن 3 طراحی شده است ، پردازشگر چند هسته ای مهم دیگر می باشد .

1-5-1 پردازش متعدد متقارن ( همزمان ) موضوع اصلی پردازش متعدد متقارن : یک پردازشگر متعدد متقارن ( SMP ) یک سیستم کامپیوتر است با پردازشگرهای مشابه متعدد که حافظه ی مشترک دارند و توسط یک ردیف مقیاس گذاری جلوگیری می کند .

درنتیجه ، SMP به طور کلی شامل بیش از 32 پردازشگر نمی باشد .

به دلیل اندازه ی کوچک پردازشگرها و کاهش قابل توجه در نیاز برای گستردگی ردیفی که توسط محزن های ذخیره ی بزرگ بدست آمده است ، یک چنین پردازشگرهای متعدد متقارن از نظر هزینه بسیار موثر و مفید هستند ، به شرط آن که میزان کافی از گستردگی حافظه وجود داشته باشد .

2-5-1 محاسبه ی ( پردازش ) توزیعی موضوع اصلی : محاسبه توزیعی .

یک کامپیوتر توزیعی ( که همچنین به عنوان یک پردازشگر متعدد حافظه ی توزیعی شناخته شده است ) یک سیستم کامپیوتری حافظه ی توزیع شده است که در آن عوامل پردازش کننده توسط یک شبکه به هم متصل شده اند .

کامپیوترهای توزیعی به میزان زیاد قابل مقایسه گزاری هستند .