۳-۸٫ طبقه ­بندی الگوریتم یادگیری
شبکه ­های عصبی توسط دو نوع اصلی از الگوریتم­های یادگیری تربیت می شوند. الگوریتم یادگیری با ناظر و بدون ناظر.
۳-۸-۱٫ الگوریتم یادگیری با ناظر
در یک الگوریتم یادگیری با ناظر، وزنه­های اتصالات مطابق با اختلاف بین خروجی واقعی و مطلوب شبکه مربوط با یک ورودی داده شده، تعدیل می­گردند. بنابراین یادگیری با ناظر نیاز به یک معلم یا سرپرست دارد تا سیگنال­های خروجی را فراهم نماید. الگوریتم پس انتشار خطا جزء این دسته از الگوریتم­های یادگیری می­باشد[۲۳].

۳-۸-۲٫ الگوریتم یادگیری بدون ناظر
در الگوریتم یادگیری بدون ناظر نیازی به شناخته شدن خروجی­های مطلوب نیست. در طول آموزش فقط الگوریتم­های ورودی به شبکه عصبی ارائه می شوند تا به­ صورت خودکار وزنه­های اتصالاتش برای دسته­بندی الگوهای ورودی در گروه ­های با وجود مشابه سازگار شوند [۲۳].
۳-۹٫ الگوریتم پس انتشار خطا
روش یادگیری پس انتشار خطا (BP) مبتنی بر قانون یادگیری اصلاح خطا^[۷۳] می­باشد. از قانون یادگیری پس انتشار خطا برای آموزش شبکه ­های عصبی چند لایه پیش خور استفاده می­ کنند. قانون پس­انتشار خطا از دو مسیر اصلی تشکیل می­گردد مسیر اول به مسیر رفت^[۷۴] موسوم می­باشد که در آن بردار ورودی به شبکه MLP اعمال شده و تأثیراتش از طریق لایه­ های میانی به لایه­­ی خروجی انتشار می­یابد. بردار تشکیل یافته در لایه­ی خروجی، پاسخ واقعی شبکه MLP را تشکیل می­دهد. در این مسیر پارامترهای شبکه عصبی ثابت و بدون تغییر در نظر گرفته می­شوند. مسیر دوم به مسیر برگشت موسوم می­باشد. در این مسیر بر عکس مسیر رفت، پارامترهای شبکه تنظیم می­گردند. این تنظیم مطابق قانون اصلاح خطا انجام می­گیرد. سیگنال خطا در لایه­ی خروجی شبکه تشکیل می گردد[۲۳].
۳-۱۰٫ الگوریتم­های آموزش شبکه عصبی
در این قسمت تعدادی از الگوریتم­های متفاوت برای شبکه پیش­خور بیان می­گردد. در تمام این الگوریتم­ها از گرادیان تابع عملکرد برای تنظیم وزن­ها و بایاس­ها جهت مینیمم کردن تابع عملکرد استفاده می­گردد [۲۳].
۳-۱۰-۱٫ روش گرادیان نزولی
در این روش وزن­ها در جهت گرادیان منفی تابع عملکرد به روز می­گردند.در این الگوریتم تغییر وزن wjiΔ بین نرون­های i و j به صورت زیر است:
(۳-۹)
طوریکه یک پارامتر به نام سرعت یادگیری است. یک فاکتور وابسته به اینکه آیا نرون j یک نرون خروجی است یا یک نرون مخفی به صورت زیر می­باشد:
برای نرون­های خارجی:
(۳-۱۰)
برای نرون های مخفی:
(۳-۱۱)
در معادله (۳-۱۰) جمع وزن دار شده کل سیگنال های ورودی و yj (t) خروجی هدف برای نرون j می­باشد. همانطور که هیچ خروجی هدف برای نرون­های مخفی وجود ندارد. در معادله (۳-۱۱) اختلاف بین خروجی واقعی و هدف یک نرون مخفی j توسط مجموع وزن­دار شده ترم­های از پیش محاسبه شده برای نرون­های q متصل شده به خروجی j جایگزین می­گردد.برای تعیین وزن­ها و بایاس­ها سرعت یادگیری به گرادیان منفی ضرب می­گردد. هر چه سرعت یادگیری بزرگتر باشد قدم­های به کار رفته بزرگتر و زمان زیادی برای همگرا شدن نیاز خواهد بود و در صورتیکه سرعت یادگیری خیلی کوچک باشد الگوریتم ناپایدار می­گردد [۲۷].
۳-۱۰-۲٫ گرادیان نزولی با مومنتم
الگوریتم یادگیری دیگری که اغلب برای شبکه پیش خور استفاده می گردد الگوریتم گرادیان نزولی با مومنتم می­باشد که همگرایی سریعتری را تضمین می­نماید. ترم مومنتم این امکان را به شبکه می­دهد که فقط به گرادیان­های محلی پاسخگو نبوده بلکه نسبت به تمایلات اخیر سطح خطا نیز عکس­العمل نشان دهد. در واقع ترم مومنتم مثل یک فیلتر عمل نموده و به شبکه این امکان را می­دهد که از نقاط کوچک در سطح خطا چشم­پوشی نماید. بدون ترم مومنتم شبکه ممکن است در گرادیان­های محلی گیر نماید اما با بهره گرفتن از ترم مومنتم از این نقاط عبور می­نماید. الگوریتم یادگیری شبکه با تغییر دادن وزن­ها معادل با مجموع اجزایی از آخرین تغییرات وزن­ها صورت می­گیرد و تغییرات جدید با بهره گرفتن از قوانین پس­انتشار خطا پیشنهاد می­گردد. در واقع مرتبه تأثیر آخرین تغییرات وزن­ها با بهره گرفتن از ثابت مومنتم تعدیل می­گردد. ثابت مومنتم عددی بین ۰ و ۱ می­باشد. وقتی این ثابت صفر می­باشد تغییرات وزن­ها فقط بر مبنای گرادیان محاسبه می­گردد و در صورتی­که ترم مومنتم یک باشد تغییرات مربوط به وزن­های جدید معادل با آخرین تغییر وزن می­باشد و از گرادیان چشم­پوشی می­ شود. گرادیان نیز با بهره گرفتن از مجموع گرادیان­های محاسبه شده برای هر مثال آموزشی به­دست می ­آید ولی وزن­ها و بایاس­ها بعد از این­که تمام مثال­های آموزشی به شبکه تزریق شد به­روز می­گردند. انتخاب تصادفی وزن­ها و بایاس­های اولیه روی عملکرد الگوریتم تأثیر می­گذارد [۲۷].
۳-۱۰-۳٫ الگوریتم یادگیری سریعتر
در بخش قبلی دو نوع از الگوریتم­های آموزش پس­انتشار خطا بیان گردیدند. گرادیان نزولی و گرادیان نزولی با مومنتم. این دو روش برای مسائل عملی کند می­باشند. در این بخش چندین الگوریتم دیگر که نسبت به الگوریتم­های بیان شده ۱۰ تا ۱۰۰ برابر سریع­تر همگرا می­شوند را بیان می نماییم. تمامی الگوریتم­های بیان شده در این بخش به صورت بسته ای عمل می­نمایند[۲۷].
الگوریتم­های سریع­تر به دو گروه تقسیم می­شوند. اولین گروه از تکنیک­های ابتکاری که با بهره گرفتن از آنالیز عملکرد الگوریتم استاندارد شیب نزولی ایجاد می­شوند، استفاده می­نماید. اولین اصلاح ابتکاری تکنیک مومنتم می­باشد.
الگوریتم پس انتشار با سرعت یادگیری متغیر^[۷۵] ۲- الگورتم پس انتشار تطبیقی^[۷۶]
دومین گروه از الگوریتم­های سریع­تر، از تکنیک­های بهینه­سازی استاندارد استفاده می­نمایند. سه نوع از روش­های بهینه­سازی عددی برای آموزش شبکه­ عصبی عبارتند از: گرادیان مرکب^[۷۷]، شبه نیوتن^[۷۸] و لونبرگ - مارکوات^[۷۹].
از آنجا که در این بررسی از الگوریتم لونبرگ – مارکوات استفاده گردیده است، لذا به توضیح مختصر این الگوریتم بسنده می گردد.
الگوریتم لونبرگ – مارکوات
این روش هم مانند روش شبه نیوتن به گونه ­ای طراحی شده است که محاسبه ماتریس هسیان مورد نیاز نمی ­باشد. هنگامی که تابع عملکرد به­ صورت مجموع مربعات خطاها در نظر گرفته شود ماتریس هسیان به صورت زیر تقریب زده می شود.
(۳-۱۲)
و گرادیان هم به­ صورت زیر محاسبه می گردد.
(۳-۱۳)
ماتریس ژاکوبین می­باشد که حاوی مشتقات اول خطای شبکه نسبت به وزن­ها و بایاس­ها J که بردار خطای شبکه ماتریس است. ماتریس ژاکوبین می تواند توسط روش پس­انتشار استاندارد e می­باشد، محاسبه گردد. محاسبه ماتریس ژاکوبین نسبت به ماتریس هسیان ساده­تر می باشد.
الگوریتم لونبرگ – مارکوات از تقریب زیر جهت محاسبه استفاده می­نماید.
(۳-۱۴)
هنگامی که اسکالر µ صفر باشد این روش به روش نیوتن تبدیل می­گردد و هنگامی که µ بزرگ گردد این روش به روش گرادیان نزولی با طول گام­های کوچک تبدیل می­گردد. روش نیوتن در اطراف نقاط خطای مینیموم دقیق­تر و سریع­تر عمل می­نماید. بنابراین هدف، انتقال و رسیدن هرچه به روش نیوتن می­باشد. بنابراین مقدار µ بعد از یک گام موفقیت­آمیز کاهش می یابد (کاهش تابع عملکرد). این روش سریع­ترین روش برای آموزش شبکه ­های پیش خور با اندازه متوسط می باشد.
۳-۱۱- خلاصه فصل
در این فصل شبکه ­های عصبی مصنوعی، ویژگی­ها، کاربرد و خصوصیات آن به طور مختصر شرح داده شد. پارامتر­های موثر در آموزش، انواع الگوریتم­های آموزش بیان گردید.
فصل چهارم
نتایج
۴-۱- مقدمه
برای پیش بینی عدد­آرام­سوزی بنزین موتور با بهره گرفتن از داده ­های تقطیر نیاز به انجام آزمایش تقطیر وجود دارد. مشخصات بنزین موتور نهایی مطابق استاندارد شرکت ملی پالایش و پخش فراورده­های نفتی ایران^[۸۰]بصورت جدول زیر می باشد .