دانلود مقاله شبکه های عصبی

مقدمه در سالیان اخیر شاهد حرکتی مستمر از تحقیقات صرفاً تئوری به تحقیقات کاربردی در پردازش اطلاعات برای مسائلی که راه حلی برای آنها موجود نیست بوده ایم.

با توجه به این حقیقت توجه زیادی به توسعه تئوریک سیستمهای دینامیکی هوشمند مدل- آزاد بر اساس داده های تجربی وجود دارد.

شبکه های عصبی مصنوعی جزء آن دسته از سیستم های دینامیکی قرار دارند که با پردازش بر روی داده های تجربی دانش در ورای داده ها را به ساختار شبکه منتقل می کند.

پیاده سازی ویژگیهای مغز در یک سیستم مصنوعی همیشه مورد توجه مطلوب بوده است کافی نبودن دانش موجود خود سبب انگیزش و پژوهش های بیشتر در این زمینه بوده و خواهد بود.

مبحث Pattern Fecognation شناسایی الگو را می توان به سه صورت زیر ارائه کرد: آماری Statistical فازی Fuzzy شبکه های عصبی Neural Network در روش آماری درصد خطا بالا می باشد به همین دلیل در پروژه فوق از دو روش Fuzzy و Neural Network استفاده شده که شبکه طراحی شده به Fuzzy Min- Max Classification Neural Network معروف می باشد که در آن درصد خطا بسیار پائین می باشد.

بدلیل اینکه ابتدا الگوهای ورودی با استفاده از مجموعه های فازی در گروههای خود تنظیم می شوند و سپس با استفاده از شبکه عصبی خرجی مطلوب را بدست می دهد.

انگیزه های بیولوژیکی شبکه های عصبی مغز به عنوان یک سیستم پردازش اطلاعاتی با ساختار موازی از 100 تریلیون و نرون به هم مرتبط با تعداد کل ارتباط تشکیل شده است نرونها ساده ترین واحد ساختار سیستم های عصبی هستند.

بافتهایی که عصب نامیده می شوند اجتماعی از نرونها می باشند.

این نرونها اطلاعات و پیامها را از یک قسمت بدن به قسمت دیگر منتقل می کنند پیامها از نوع ایمپالسهای الکتروشیمیایی هستند.

بیشترین تعداد نرونها در مغز و مابقی در نخاع و سیستم های عصبی جانبی تمرکز یافته اند گرچه همگی نرونها کارکرد یکسانی دارند ولی اندازه و شکل آنها بستگی به محل قرار گیری آنها در سیستم عصبی دارد.

بیشتر نرونها از سه قسمت اساسی تشکیل شده اند.

بنده سلول: که شامل هسته و قسمت های حفاظتی دیگر می باشد.

دندریت اکسون که دندریت ها و اکسون ها عناصر ارتباطی نرون را تشکیل می دهند.

دندریتها به عنوان مناطق دریافت سیگنالهای الکتریکی، شبکه هایی تشکیل یافته از فیبرهای سلولی هستند که دارای سطح نامنظم و شاخه های انشعابی بیش مار می باشند پیامهای عصبی تنها به صورت یکطرفه حرکت می کنند: از دندریتها به بدنه سلول و سپس به اکسون.

هر اکسون به طور فیزیکی از سلولهای مجاور توسط یک فاصله کوچک موسوم به سیناپس جدا می شود.

وقتی که یک پتانسیل تحریک به انتهای یک اکسون می رسد، موجب آزاد شدن یک ماده شیمیایی بنام انتقال دهنده نرونی از انتهای اکسون می شود پس از نفوذ در سیناپسها، گیرنده ی سلولهای مجاور را فعال می کند.

شبکه های عصبی مصنوعی مقدمه در این بخش مدل ساده از یک نرون واقعی و سپس ساختارهای مختلف شبکه های عصبی مصنوعی ارائه خواهد شد.

مدل نرون تک ورودی ساختار یک نرون تک ورودی را نشان می دهد اسکالر های p و a به ترتیب ورودی و خروجی می باشند میزان تاثیر p روی a بوسیله مقدار اسکالر w تعیین می شود ورودی دیر که مقدار ثابت 1 است در جمله بایاس b ضرب شده و سپس با wp جمع می شود این حاصل جمع ورودی خالص n برای تابع محرک (یا تابع تبدیل) f خواهد بود.

بدین ترتیب خروجی نرون با معادله زیر تعریف می شود: a = f (wp+b) با مقایسه این مدل تک ورودی با یک نرون بیولوژیکی، عملاً w ، معادل شدت سیناپس، جمع کننده وت ابع محرک معادل هسته سلول و سیگنال خروجی نرون، u معادل سیگنال گذرنده از اکسون خواهند بود.

باید توجه داشت که پارامترهای w و b قابل تنظیم هستند و تابع محرک f نیز توسط طراح انتخاب می شود بر اساس انتخاب f و نوع الگوریتم یادگیری، پارامترهای w و b تنظیم می شوند یادگیری بدین معنی است که w و b طوری تغییر می کنند.

تا رابطه ورودی و خروجی نرون با هدف خاصی مطابقت نماید.

مدل چند ورودی یک مدل نرون به R ورودی را نشان می دهد.

بردار ورودی را با p نمایش داده می شود.

اسکالرهای عناصر بردار P هستند.

مجموعه سیناپسها از را با ماتریس وزن w نمایش داده می شود در این حالت w یک بردار سطری با عناصر j=1,…,R و است هر عنصر از بردار ورودی P در عنصر متناظر از w خوب می شود.

نرون یک جمله بایاس b دارد که با حاصلضرب ماتریس وزن w با بردار ورودی P جمع می شود.

ورودی خالص n مطابق فرمول زیر محاسبه می شود: در نهایت خروجی نرون به صورت زیر خواهد بود: a= f (WP+b) که فرم ساده شده نرون چند ورودی به صورت شبکه های تک لایه و چند لایه در شبکه های تک لایه ورودی شبکه با بردار P و خروجی آن با بردار a نشان داده می شود که هر یک از ورودی ها به همه نرونها متصل شده است.

ماتریس w در این حالت دارای s سطر و R ستون می باشد.

که در نشان داده شده است.

در شبکه های چند لایه، هر لایه ماتریس وزن w ، بردار بایاس b بردار ورودی خالص n و بردار خروجی مختص خود را دارد.

که این لایه ها با قرار دادن شماره لایه در بالای متغیرها از یکدگیر جدا می گردند لایه ای که خروجی آن خروجی شبکه عصبی می باشد، لایه خروجی و لایه های دیگر به لایه های میانی موسومند.

شبکه موجود در شکل (5-1) دارای یک لایه میانی می باشد که در آن خروجی لایه میانی اول ورودی لایه خروجی می باشد که خروجی آن با نشان داده می شود.

معرفی سه شبکه عصبی مقدمه در این بخش نشان داده می شود که چگونه می توان مسأله شناسایی الگوهای باینری را با استفاده از سه نوع ساختارهای نمونه شبکه های عصبی به نام های، پرسپترون، همینگ و هاپفیلد که به ترتیب درباره انها توضیح داده خواهد شد.

شبکه پرسپترون (percepteron) شبکه های عصبی پرسپترون، به ویژه پرسپترون چند لایه، در زمره کاربردی ترین شبکه های عصبی می باشند.

این شبکه ها قادرند با انتخاب مناسب تعداد لایه ها و سلول عصبی که اغلب زیاد هم نیستند، یک نگاشت (Map) غیر خطی را با دقت دلخواه انجام دهند.

این همان چیزی است که در بسیاری از مسایل فنی مهندسی به عنوان راه حل اصلی مطرح می باشد.

شبکه همینگ (Heming) این شبکه اساساً جهت حل مسأله شناسایی الگوهای باینری (الگوهایی برداری که عناصرشان فقط دو مقدار مثلاً 1 و 1- قبول می کند) طراحی شده است.

این شبکه هم در چارچوب شبکه های عصبی قرار می گیرد چونکه از یک سری نرونها به مثابه گره ها و یک سری وزنه های ارتباطی بین گره ها تشکیل یافته است.

هر گره یک سطح فعال دارد که خروجی نرون را می سازد شکل زیر شبکه همینگ را نشان می دهد.

هدف اصلی در شبکه همینگ این است که تشخیص می دهد کدام الگوی مرجع بیشترین نزدیکی را به الگوی ورودی دارد و سپس آنرا در خروجی شبکه ظاهر کند شبکه همینگ از سه لایه تشکیل شده است.

شبکه هاپفیلد (Hapfield) این شبکه ها مثل لایه میانی شبکه همینگ دارای فیدبک (feedback) هستند.

این تفاوت که توانایی کل شبکه همینگ را جهت حل مسأله شناسایی الگو دارا می باشد دیاگرام بلوکی شبکه هاپفیلد در شکل (7-1) نمایش داده شده است همانطور که از شکل شبکه مشاهده می شود، همه نرونها شبیه یکدیگر عمل می کنند.

و هیچ نرونی به عنوان ورودی و خروجی از هم متمایز نمی شوند و این وجه بارز اختلاف این شبکه با دیگر شبکه ها است.

نرونها نخست توسط ورودی، مقادیر اولیه می گیرند و آنگاه شبکه طوری خود را تکرار می کند که نتیجه نهایی همگرای شبکه به یکی از الگوهای مرجع باشد.

یادگیری شبکه های عصبی شبکه های عصبی به عنوان سیستم های دینامیکی آموزش پذیر بین تمام خواص مهم یاد شده از شبکه های عصبی خاصیت یادگیری شبکه های عصبی از اهمیت ویژه ای برخوردار است.

شبکه های عصبی به عنوان سیستم های یادگیری دارای این توانائی هستند که از گذشته و تجربه و محیط بیاموزندو رفتار خود را در هر لحظه یادگیری، بهبود بخشند.

بهبود در یادگیری در طول زمان باید بر اساس معیاری سنجیده شود.

قانون یادگیری روندی است که توسط آن ماتریس وزن ها و بردارهای شبکه عصبی تنظیم می شوند.

هدف قانون یادگیری آموزش شبکه عصبی جهت انجام کار مشخصی است و به عبارتی دیگر شبکه های عصبی در خلال آموزش پس از هر تکرار الگوریتم یادگیری، از محیط، شرایط و هدف کار خود بیشتر مطلع می گردند و نوع یادگیری هم توسط روندی که طبق آن پارامترهای شبکه تنظمیم می گردند مشخص می شود.

یادگیری شبکه هر نرون، بردار وزن های متناظر خود را مطابق با قانون یادگیری خاص خودش تغییر می دهد و محیط منبعی اطلاعاتی هر نرون در این حالت دیگر ثابت نیست بلکه با تغییر وزن های نرونها دیگر، تغییر می کند.

چون محیط منبع اطلاعاتی یک نرون دیگر ثابت نیست بلکه وابسته به رفتار نرونهای دیگر در شبکه است.

آموزش شبکه را می توان به دو صورت پیاده کرد: 1- یادگیری با ناظر Supervised 2- یادگیری بدون ناظر unsupervised در یادگیری با ناظر، به قانون یادگیری مجموعه ای از زوج های داده ها به نام داده های یادگیری داده می شود که در آن ورودی به شبکه و خروجی مطلوب شبکه برای ورودی است مفهوم فازی در زندگی روزمره، وقایع و حوادث را توسط گزاره ای مثل" امروز هوا سرد است"، " فردا به مسافرت خواهم رفت"،" امروز باران می آید"، و .....

بیان می کنیم و از این گزاره ها در معادلات منطقی اگر آنگاه استفاده کرد و تصمیم گیری می نماییم.

در منطق صریح و قطعی ارزش هر گزاره می تواند درست یا نادرست باشد که کامپیوتر آن را با یک و صفر نمایش میدهد.

بعنوان مثال" چراغ شماره 2 روشن است" یک گزاره درست و ارزش آن یک است و" چراغ شماره 2 روشن نیست" یک گزاره نادرست و ارزش آن صفر است.

دررابطه با منطق گزاره ها نظریه مجموعه ها نیز مطرح می شود و هر مجموعه یا اعضایش به طور کامل شناخته می شود بعبارت دیگر یک مجموعه هنگامی بطور کامل معرفی می شود که بتوان هر عنصر را بطور قطعی عضو آن مجموعه دانست یا آن را خارج از آن مجموعه معرفی کرد.

هرمجموعه یکصفت مشخص کننده مربوط به خود را دارد معیار عضویت عناصر در مجموعه، صفت مشخص کننده مجموعه است و هر عنصر اگر دارای آن صفت باشد عضو مجموعه و در صورت دارانبودن صفت خارج از مجموعه شناخته می شود.

این معیار عضویت را تابع عضویت نیز می نامیم که به صورت زیر بیان می شود: با دقت در زندگی روزمره گزاره هایی که روزانه در زبان گفتاری بیان می کنیم خواهیم دید که طریقه ارزش گزاره ها درمغز انسان فازی بوده و اکثر جملات را که در زبان گفتاری بکار می بریم، ذاتاً مبهم و فازی هستند.

بعنوان مثال با دوستان ساعت 4 بعدازظهر پنجشنبه قرار می گذاریم.

آنچه مسلم است هیچ یک دقیقاً رأس ساعت 4 بعدا ازظهر در محل حاضر نخواهیم شد.

یعنی ممکن است حتی برای یک ثانیه و یا حتی کمتر از یک ثانیه دیرتر یا زودتر در محل حاضر شویم که این مقدار تأخیر و یا تعجیل ممکن است در حد چند دقیقه هم افزایش یابد ولی این اختلاف به ساعت یا روز نخواهد رسید.این میزان اختلاف، اندازه و فازی بودن فکر و زبان ما را مشخص می کند.

ابهام و عدم دقت در کلام و تفکر ما همچنان باقی است و مسلماً کسی که در ساعت چهار و یک دقیقه در محل حاضر شده باشد بدقول نیست و ارزش منطقی صفر را برای او در نظر نمی گیریم.

از اینرو به منظور شبیه سازی و بدست آوردن مدل ریاضی برای منطق زبانی، منطق فازی به ما اجازه می دهد به تابع عضویت مقداری بین صفر و یک را نسبت داده و ابهام را جایگزین قطعیت نمائیم.

با دقت در زندگی روزمره گزاره هایی که روزانه در زبان گفتاری بیان می کنیم خواهیم دید که طریقه ارزش گزاره ها درمغز انسان فازی بوده و اکثر جملات را که در زبان گفتاری بکار می بریم، ذاتاً مبهم و فازی هستند.

تعاریف اولیه می توانیم یک مجموعه فازی را بصورت عضوهای آن به اضافه درجه عضویت هر عضو در نظر بگیریم مجموعه صریح یا کلاسیک معمولاً به صورت تعدادی عضو به صورت تعریف می شود که این اعضا می توانند به صورت قابل شمارش و یا غیرقابل شمارش باشند و هر عضو x می تواند متعلق به مجموعه صریح A باشد و یا نباشد.در صورت تعلق عضو x به مجموعه A درجه عضویت آن 1 و در غیر اینصورت درجه عضویت آن صفر می باشد واضح است که A خواهد بود.

آنچه اعضاء یک مجموعه را از دیگر اعضا متعلق به X جدا می کند یک صفت مشخص کننده است که می تواند به صورت یک گزاره بیان شود.

انواع مجموعه های فازی و درجه فازی بودن مجموعه در این قسمت مجموعه های فازی را از نظر شکل تابع عضویت و درجه فازی بودن مجموعه به بخشهای مختلف تقسیم می کنند.

در تعریف اولیه مجموعه فازی، فرض شده بود که تابع عضویت مجموعه یک تابع ثابت بوده که برد آن یک عدد حقیقی غیرصفر با یک مقدار ماکزیمم( مثلاً درحالت نرمال عدد یک) بوده است به این نوع مجموعه فازی نوع اول گفته می شود و مجموعه فازی نوع دوم به مجموعه ای گفته می شود که تابع عضویت آن خود، یک مجموعه فازی نوع اول باشد.

به همین صورت می توان مجموعه های فازی نوع سوم و بالاتر را تعریف نمود ولی تصور آنها و همچنین تعریف اپراتورهای جبری و تئوری مجموعه ها برروی آنها بسیارمشکل خواهد بود.

اپراتورهای مجموعه فازی: تابع عضویت عامل مشخص کننده یک مجموعه فازی می باشد.

پس مشخص است که برای اپراتورهای مجموعه های فازی تعریفی ارائه شود که از تابع عضویت مجموعهها استفاده نماید.

اپراتورهای مینیمم و ماکزیمم تنها اپرتورهایی هستند که می توان از آنها برای تعریف اجتماع و اشتراک مجموعه فازی استفاده نمود یک مجموعه فازی A را با گزاره"عنصر" به مجموعه A تعلق دارد.

میزان درستی گزاره درجه عضویت عنصر Xدر A را نشان می دهد و اپراتورهای"و"و"یا" در منطق گزاره، مشابه اپراتورهای( اشتراک) و( اجتماع) در تئوری مجموعه ها می باشند.

البته قابل ذکر است که اپراتورهای دیگری نیز برای مجموعه های فازی وجود دارد.

مسأله و مفاهیم شناسایی الگو بعنوان یک فاکتور مهم در طراحی سیستمهای اطلاعاتی مورد توجه زیادی قرار گرفته است.

تئوری شناسایی مبتنی بر رو شهای تحلیلی قدرتمندی است که کاربردهای وسیعی در سیستمهای کنترل و مخابرات دارد.

مفهوم شناسایی الگو ساختار کلی یک فرآیند شناسایی الگو و تصمیم گیری شامل چهار موضوع کلی زیر می باشد: 1- چیزی یا موضوعی اتفاق افتاده است.

2- اتفاق، توسط سیگنالی، نمایندگی می شود.

3- سیگنالی که مشاهده می شود با سیگنال ارسالی یکسان نیست.

4- براساس مشاهده سیگنال فرستاده شده، مشاهده کننده باید تصمیمی در مورد مسأله یا موضوع واقع شده بگیرد.

مسأله شناسایی الگو عملاً چیزی جز جداسازی داده ها یا الگوهای ورودی بین دسته های مختلف نیست در طراحی یک سیستم شناسایی الگو چند کار باید انجام گیرد: نخست اشیاء مورد شناسایی را باید به الگو و یا بردارهای ورودی که به سیستم شناسایی اعمال می گردند، تبدیل نمود.

مؤلفه های بردار ورودی از طریق اندازه گیری به دست می آیند.

هر کمیت اندازه گیری شده یک ویژگی از شیء موردنظر را بیان می کند.اینکار عملاً چیزی جز پروسه کدگذاری(Codding ) نیست و از نظر هندسی هوشی و ا موضوع شناسایی را می توان بعنوان یک نقطه در یک فضای چندبعدی اقلیدسی در نظر گرفت.

کار دوم که عموماً پس از یک پروسه کدینگ انجام می شود، استخراج مشخصه های مهم، از روی داده های ورودی اندازه گیری شده و کاهش ابعاد بردار الگوها می باشد.

به این کار اصطلاحاً استخراج شاخص گویند.

به زبان ریاضی، مسأله شناسایی الگو به شکل ساده یعنی تخصیص الگوهای ورودی به یکیاز طبقانی که فضای چندبعدی اقلیدسی برای تصمیم گیری به تعداد متناهی از آنها تعمیم شده است.

شناسایی الگو را می توان به سه صورت پیاده سازی کرد.

1- بصورت آماری 2- با استفاده از شبکه های عصبی 3- با استفادهاز منطق فازی (Fuzzy logic) که پروژه فوق با استفاده از شبکه های عصبی و منطق فازی طراحی شده است که در فصل چهارم توضیح داده خواهد شد.

طراحی شبکه ساختار و توپولوژی شبکه شبکه مورد بحث در پروژه فوق با استفاده از شبکه های عصبی و منطقی فاز طراحی شده است که در این ساختار با گروه بندی الگوها هر کدام را به گروه نسبت می دهیم .

درزمان یادگیری(learning ) الگویی که باید به شبکه موزش داده شود تعلق به یک گروه دارد که برای درجه عضویت الگوی فوق به کلاس مربوطه و خود از مجموعهها یفازی استفاده می شود.

که دراینجا برای تعریف کلاس الگو از اجتماع مجموعه های فازی hyperbpx استفاده می شود که این مجموعه های فازی hyperbpx ها برای تعریف خوشه های ا لگو بکار می روند.

شبکه طراحی شده در این پروژه Fuzzy Min-Max classification neural Network که توپولوژی شبکه عصبی پیاده کننده Min-Max Classific از سه لایه تشکیل شده است که لایه F لایه ورودی که عنصرهای آنکه تعداد عناصر یا بعد الگو می باشد که از دو مجموعه اتصال بین هر node ورودی و هر یک از m گره مجموعه فازی hyperbox در لایه میانی دوم قرار دارند و عضوهای آنمی باشد که این اتصالات بین لایه ورودی ولایه میانی دوم، اتصالات Min-Max هستند که جهت تنظیم الگوریتم یادگیری می باشند Min فقط hyperbox minimum نقطه hyperbox maximum رانشان می د هد که توسط الگوریتم و توابع خاصی به شدت سیناپسهای شبکه عصبی با مجموعه های فازی تنظیم می شود.

خروجی شبکه خروجی شبکه مقادیر باینری می باشند که برای نمایش یک الگوی کلاس بکار می رود عضو های آن است که میتوان آنرا به دو صورت نشان داد.

Soft Decision در این حالت خروجیهای بدست آمده مستقیماً مورد استفاده و تجزیه و تحلیل قرار می گیرند و همان مقادیری که از اعمال تابع روی ماتریس u بدست می آید مورد استفاده قرار می گیرد.

Hard Decision در این روش با انتخاب بزرگترین نرون در لایه خروجی آنرا با هر مقداری یک کرده ودر بقیه نرونها در لایه خروجی مقدار صفر قرار میدهیم.

مجموعه های فازی در شبکه هر مجموعه از hyperbox های فازی مجموعه مرتب تعریف میشود و در لایه خروجی k این کلاس به صورت زیر می شود : که K نماینده مجموعه هایی از hyperbox مشترک با کلاس k می باشد.

همچنین برای بدست آوردن ماکزیمم همه توابع عضویت مجموعه فازی از عملگر اجتماعی در مجموعه فازی که به صورت پیوسته می باشد باید استفاده کرد.

زمان آموزش شبکه بعد از عمل انبساط (expantion) ممکن است hyperbox ها روی هم بیفتد که این عمل برای hyperbox هایی که از یک کلاس می باشند مشکلی ایجاد نمی کند ولی در hyperbox هایی که از کلاسهای متفاوت می باشند برای تعیین مرز دو کلاس نیاز به رفع overlap به وجود آمده می باشد.

تابع عضویت در hyperboxها برای تعیین در جه عضویت یک الگو به یک کلاس مشخص و در نهایت بسط پیداکردن به یک hyperbox از تابع عضویت در مجموعه های فازی استفاده می شود.

تابع عضویت برای j امین hyperbox که در دامنه یک و صفر قرار دارد نشان دهنده درجه تعلق الگوی ورودی با hyperbox، j می باشد در صورتی که در دامنه ماکزیمم و مینیمم hyperbox ، j نباشد نقطه بیرون از J بوده وباید با hyperbox دیگر مقایسه گردد.

تابعی که درجه عضویت یک الگوی ورودی با j امین hyperbox را نشان می دهد به صورت زیر می باشد.

رابطه(1-4) که در آن ، h امین الگوی ورودی و به ترتیب نقاط مینیمم(Min ) و ماکزیمم(Max ) برای B hyperbox باشد و y پارامتر حساسیت که سرعت کاهش مقادیر عضویت نظیر فاصله A و Bافزوده شده را تنظیم می کند.

پیاده سازی شبکه پیاده سازی Fussy Min-Max Classification Neural Network پیاده سازی Min-Max Classification نظیر یک شبکه عصبی باعث می شود که مکانیزمی با سرعت پیاده سازی مطلوب داشته باشیم.

که b ، I امین نود است و C،K امین نود و هر نودنمایش دهنده یک کلاس می باشد.

خروجی نود درجه ای را که الگوی وروی اندازه اش جا می شود درون کلاس K را نمایش می دهد تابع برای هر کدام از نودهای اجتماع فازی از مقادیر فازی hyperbox مناسب را اجرا می کند این عملیات به این صورت تعریف می شود.

که خروجی فوق به دو صورت soft Decision و Hard Decision که قبلاً راجع به آن بحث شد تنظیم می گردند.

الگوریتم یادگیری Fussy Min-Max Classification Neural Network الگوریتم یادگیری Fuzzy Min-Max در کل یک پروسه انبساط و انقباض است که در زمان انبساط(expantion ) ممکن است Overlap بوجود آید که برای رفع آن باید از پروسه انقباض(contraction ) استفاده کرد.

مجموعه آموزشی که برای ورود به شبکه جهت آموزش شبکه های عصبی باشد از یک مجموعه زوج مرتب که در آن الگوریتم ورودی و شاخص یکی از m تا کلاس است تشکیل می شود.

پروسه learning با انتخاب یک مجموعه زوج مرتب از الگوی ورودی شروع کرده، سپس یک hyper box برای کلاس متناظر( در صورت نیاز و یا در صوتر وجود hyper box) که می تواند بسط داده شود را پیدا کند در صورتی که hyper box با ضوابط بسط را پیدا نکند.

یک hyper box جدید( یک Nuron جدید در لایه میانی دوم) تشکیل شده و به شبکه عصبی اضافه می شود.

پروسه رشد به کلاسهایی که شکل گرفته اند اجازه میدهد که بطور غیرخطی قابل جداشدن شود همچنین اجازه میدهد در زمان کوتاهی پالایش شده و حتی اجازه می دهد که کلاسهای جدیدی به شبکه اضافه شوند، بدون اینکه نیازی به آموزش دوباره داشته باشیم.

پدیده حاصل از بسط hyper box هایی هستند که با هم Overlap دارنداین Overlap برای hyper box هایی از یک کلاس مشکلی ایجاد نمی کند ولی برای hyper box هایی که از یک کلاس نمی باشند نیاز به تعیین مرز مابین hyper boxها و جود دارد.

که برای تعیین مرز و رفع Overlap از پروسه انقباض(Contraction )استفاده می شود.

حال در مورد هر یک از موارد ذکر شده به تفضیل بحث میشود.

بسط(expantion hyper box) نخست یک زوج مرتب انتخاب کرده سپس hyper box ، را که بزرگترین درجه عضویت را میدهد انتخاب می کنیم.

در صورت نیاز به بسط، آنرا با کلاس متناظر خود بسط می دهیم درجه عضویت توسط رابطه 1 اندازه گیری می شود که اندازه hyper box ها به صورت زیر محدود می شود: برای hyperbox ، انبساط یافته، رابطه زیر صدق می کند: رابطه(3-4) حال در صورتی که ضابطه بسط با توجه به رابطه بالا برای hyper box ، وجود داشته ابشد با بکاربردن رابطه های زیر نقاط Min و Max ، hyper box تنظیم میشود.

برای نقطه مینیمم (Min) hyper box ، و برای نقطه ماکزیمم Max)) hyper box ، تست hyper box overlap با توجه به موارد ذکر شده قبلی over lop بین hyper box هایی که یک کلاس شبیه را نمایش می دهند مشکلی ایجاد نمی کند ولی برای over lop غیرهمکلاسی نیاز به رفع over lop وجود دارد.

درصورتی که انبساط باعث بوجود آمد over lopبین hyper box هایی از کلاسهای متفاوت شود بعدها بین hyper boxهایی که با یکدیگر Over lop دارند باید یکی یکی مقایسه شوند.

برای چنین مقایسه ای چهار حالت زیر اتفاق می افتد و درنهایت overlap موجود بین دو hyper box بدست می آید.

با فرض چهار حالت زیر بین دو hyper box ، و برای بعد I تست می شود.

رابطه(4-4) در صورتی که باشد مقدار بعدی که تست شده را در p قرار می دهیم و سپس البته بدین معنی است که overlap برای p امین بعد وجود دارد و تست overlap برای بعدهای اولیه ادامه پیدا کند.

البته قابل ذکر است که در صورتی می توان گفت که بین و، overlapوجود دارد که حداقل بین دو بعد از بعد های و overlap وجود داشته باشد.

انقباض (Contraction ) در صورتی که جواب تست Overlap مثبت باشد حال باید p امین بعد از دو hypoerbox ، و را تنظیم کرد.

دراینجا فقط یکی از n بعد تنظیم می شود تا جلوی فشردگی بیش از حد بین hypoerbox را بگیرند.

حال چهار حالت زیر را تست کرده و برای تنظیم بردارهای W و V دستور مقابل هر کدام از حالتها را اجرا می کنیم.