مقاله پروسه ارزیابی یک الگوریتم ژنتیک برای بهبود شبکه پس از انتشار خطا bpn

دانلود مقاله پروسه ارزیابی یک الگوریتم ژنتیک برای بهبود شبکه پس از انتشار خطا bpn

چکیده

 بسیاری از بررسی ها یک رشته بیت را با استفاده از الگوریتم  ژنتیک به منظور بیان ساختار شبکه نگاشت داده اند تا کارایی شبکه های پس انتشار خطا را بهبود بخشند. زیرا محدودیت ها در تکنیک های جستجوی گرادیان که برای مسائل بهینه سازی غیر خطی پیچیده استفاده می شدند،اغلب کارایی متناقض و غیر قابل پیش بینی را نتیجه داده اند.این مقاله برروی چگونگی جمع آوری و ارزیابی مجدد ماتریس های وزن bpn تمرکز دارد، در حالیکه عملگرهای الگوریتم ژنتیک در هر نسل به منظور بهینه سازی ماتریس های وزن پردازش می شوند. در این روش over fitting، یک اشکال از bpn هاست که معمولا در طول مرحله بعد ازآموزش  شبکه عصبی با نزول خطای آموزش و افزایش خطای پیش بینی اتفاق می افتد ، قابل حذف شدن می باشد .این مقاله هم چنین، پارامترها و توپولوژی شبکه عصبی را در جهت افزایش امکان پذیری اجرای فضای جواب برای مسائل غیرخطی پیچیده  توسعه می دهد.

–

مقدمه

مدل های شبکه عصبی مصنوعی (ANN ) به طور گسترده در کاربردهای متفاوتی استفاده شده اند. شبکه های پس انتشار خطا ، پرکاربردترین مورد استفاده در شبکه های عصبی مصنوعی،برای حل تعداد زیادی از مسائل واقعی بکار گرفته شده است.

در سال های اخیر بسیاری از الگوریتم های  یادگیری به طور گسترده ای به منظور آموزش شبکه های عصبی برای حل مسائل پیچیده غیر خطی طراحی شده و توسعه یافته اند. یکی از نقص ها ی اساسی در شبکه های عصبی جاری این است که تحقیق و پژوهش وابسته به طراحی شبکه عصبی می باشد.طراحی یک شبکه عصبی شامل انتخاب یک مجموعه بهینه از پارامتر ها ی طراحی می باشد تا همگرایی سریع را در طول آموزش و دقت مورد نیاز را هنگام فراخوانی بدست آورد.

محققان به طور معمول شبکه های عصبی با [۱] BPN را بسیار آموزش داده اند.

دقت هر تقریب آموزش بستگی به انتخاب وزن های مناسب برای شبکه عصبی دارد.متاسفانه bp یک الگوریتم جستجوی محلی است. بنابراین موجب واقع شدن در تله می نیمم محلی می شود .اگر وزن های اولیه در یک شیب محلی واقع شود ، الگوریتم احتمالا در یک بهینه محلی قرار خواهد گرفت .محققان از روش های متفاوتی استفاده می کنند تا این ویژگی ها یbp  را تنظیم کنند.

 برای مثال در یک روش الگوریتم می تواند تنظیم شود تا مومنتم را تغییر دهد به طوریکه جستجو از بهینه محلی خارج شود و به سمت راه حل عمومی حرکت کند .مقادیر صحیح این پارامتر ها قیاسی و عمومی نمی باشند و اغلب برای یک مسئله خاص هستند .بنابراین برای هر مسئله داده شده تعداد زیادی از پارامترها باید آزمایش شوند تا اطمینان پیدا کنند که بهینه عمومی پیدا شده است .

روش عمومی دیگر برای پیدا کردن بهترین راه حل (شاید بهینه عمومی ) با استفاده از bp  این است که آموزش دوباره از بسیاری از نقاط رندم شروع شود.دوباره تعداد نقاط شروع رندم مشخص نمی باشد و عموما به طور قابل توجهی برای مسائل پیچیده متفاوت می باشد.

روش سوم این است که ساختار شبکه عصبی بازسازی شود در چنین روشی احتمال رسیدن به بهینه عمومی بسیار زیاد می باشد .هر چند در این روش تخمین پذیرفته شده ای عمومی وجود ندارد و محققان روش های متفاوت دیگری را ترجیح می دهند .

یکی از معقول ترین روش ها ،استفاده از الگوریتم ژنتیک به منظور پیدا کردن یک ساختار بالقوه  برای استفاده از bp می باشد .هر چه ساختار شبکه ساده تر باشد و پیچیدگی کمتری داشته باشد ، الگوریتم bp با احتمال بیشتری موفق می شود.

در این رویکرد اگر چه شبکه عصبی به طور فزاینده ای شکست می خورد ولی روش توانایی مدل کردن ارتباطات پیچیده را نیز دارد .

Bpn ها در عین محدودیت داشتن،هنگامیکه از تکنیک جستجوی گرادیان استفاده می کنند مشکل سرعت پایین همگرایی در رسیدن به جواب را دارا می باشند.

بنابراین یک bpn دارای دو اشکال عمده به شرح زیر است :

۱٫تکنیک جستجوی گرادیان به یک جواب بهینه با کارایی متناقض و غیر قابل پیش بینی برای بعضی از کاربردها همگرا می شود.

۲٫هنگامیکه در بعضی نواحی در مینیمم محلی واقع می شودتکنیک جستجوی گرادیان به طور ضعیفی دربدست آوردن یک جواب بهینه عمومی عمل می کند.

عمده ترین مسئله در طول پروسه آموزش شبکه عصبی احتمال ^۱OF در داده های آموزش می باشد.بدین معنا که در طول یک دوره آموزش معین شبکه ،قابلیت حل مسائل توسط آن بهتر نمی شود.OF همچنین هنگامی اتفاق می افتد که شبکه عصبی دارای درجات آزادی بیشترنسبت به حالتی است  که می توانست به وسیله نمونه های آموزشی تحمیل شود.OF معمولا در طول مرحله بعد از آموزش شبکه عصبی با کاهش خطای آ‌موزش وافزایش خطای پیش بینی رخ می دهد . بنابراین در توانایی عمومیت دادن یک شبکه بسیار ضعیف می باشد .OF داده های آموزش مخصوصا در شبکه هایی با یک لایه مخفی معمول می باشد .آموزش در یک مینیمم محلی متوقف می شود که به نتایج غیر موثر منجر می شود و یک تناسب سازی ضعیف از مدل را نشان می دهد .بهترین روش برای کاهش وزن ها در Riply,1993)) پیشنهاد شده بود تا از چنین OF دوری نماید .

در بررسی (Schittenk 1997)  شبکه پس انتشار خطا روی مجموعه داده نشان داده شده موجب OF شد که بعد از تعداد تکرار مشخصی در مرحله آموزش شروع شد .دو استراتژی ارائه شدند تا مقدار اطلاعات انتقال داده شده را به وسیله یک شبکه feed forward،رو به جلو، که در آنالیز مولفه اصلی (PCA) استفاده شده بود محدود کنند .در ۱۹۹۷ zhang  و همکارانش نشان دادند که OF همچنین هنگامیکه تقریب چند جمله ای های مرتبه بالا برای مناسب سازی تعداد کمی از نقاط استفاده شده بود اتفاق می افتد . در مقاله آنها یک شبکه عصبی بکار برده شده بود تا فلورانس داده ها را از یک سیستم تحمیلی چند مولفه ای به منظور انتخاب ساختاری بهینه مدل کند ،شبکه از یک[۲] الگوریتم پیشنهادی هرس نود پنهان (HNPA) نیز استفاده می نمود .

با توجه به این موارد بهبود همگرایی bpn  و دوری از OF  داده ها در طی آموزش هر دو خیلی مهم هستند.

–

فهرست

 ۱-  چکیده: ۱

۲-  مقدمه: ۲

۳-  الگوریتم ژنتیک… ۴

۴-  روشهای به کار رفته در این گزارش: ۶

۱-۴ آموزش شبکه با bp. 8

۲-۴- فاکتور های آموزش bp. 8

شناسایی تنظیمات سطح فاکتور bpn. 8

نگاشت پارامتر ها و توپولوژی bpn  در یک نوع رشته بیتی.. ۱۰

۱-۲-۳ فاز یک از پروسه ارزیابی الگوریتم ژنتیک… ۱۱

مقداردهی اولیه : ۱۱

غربال: ۱۲

ادغام : ۱۲

جهش : ۱۲

حلقه : ۱۲

۵-  شبیه‌سازی و ارائه نتایج تجربی: ۱۳

۶-  ساختن شی شبکه :newff) 18

۷- آموزش  (Train)  : ۱۸

نتایج دیگر مقالات : ۱۹

۸-   نتایج روش پیشنهادی.. ۲۶

۹-  نتیجه‌گیری و بحث: ۲۷

۱۰-    مراجع. ۲۹

۱۱-  پیوست.. ۳۰