ParsX.com
پذیرش پروژه از دانشجویی ... تا سازمانی 09376225339
 
   ProfileProfile   Log in to check your private messagesLog in to check your private messages  |  FAQFAQ   SearchSearch   MemberlistMemberlist   UsergroupsUsergroups Log inLog in   RegisterRegister 

کاهش گرادیان Gradient Descent Algorithm

 
Post new topic   Reply to topic    ParsX.com Forum Index -> داده کاوی اطلاعات
View previous topic :: View next topic  
Author Message
vahid
بي تو هرگز


Joined: 26 Nov 2004
Posts: 3067
Location: Tehran

PostPosted: Mon Mar 13, 2017 10:48 am    Post subject: کاهش گرادیان Gradient Descent Algorithm Reply with quote

https://www.analyticsvidhya.com/blog/2017/03/introduction-to-gradient-descent-algorithm-along-its-variants/

بهینه سازی همیشه هدف نهایی شما در حل مسایل واقعی زندگی بوده است . بهینه سازی در یادگیری ماشین کمی متفاوت از آنچه تعریف عمومی می باشد است ما می دانیم که
داده های ما چه شکلی دارند و می دانیم که چه محدوده ای را می خواهیم بهبود دهیم . اما در یادگیری ماشین ما هیچ سر نخی از شکل و شمایل داده های جدیدمان ندارم و باید به تنهایی آن را بهینه کنیم . بنابراین در یادگیری ماشین ما روی یک مجموعه آموزشی داده کارایی بهینه یابی را می سنجیم .
بسیاری از الگوریتم های محبوب یادگیری ماشین بر اساس تکنیک بهینه یا بی عمل می کنند مثل رگرسیون خطی . ‍kامین نزدیک ترین همسایه و شبکه های عصبی و ...

کاهش گرادیان چیست؟
برای توضیح کاهش گرادیان مثالی برای شما می زنیم .
فرض کنید بر فراز قله ای هستید و در پایین قله یک دریاچه مشاهده می شود. چشمان شما را بسته اند . برای رسیدن به دریاچه چه کار می کنید؟
بهترین کار برای شما این است که با چک کردن اطرافتان به سمت پایین با قدم های متناسب حرکت کنید. این ایده اصلی انتخاب جهت حرکت می باشد. اگر این ایده را تا انتها ادامه دهید به احتمال خیلی زیاد به دریاچه که در پایین ترین نقطه کوه می باشد می رسید. اگر این نقشه را بصورت ریاضیاتی سه بعدی بتصویر بکشیم. قله نمودار برجسته ما در شکل می باشد. پیدا کردن بهترین پارامتر theta1 و theta2 برای الگوریتم یادگیری ما می باشد. تابع هزینه ما در سه محور xyz بتصویر کشیده شده است. محور هزینه J(theta) و دو محور x , z نیز theta1 , theta2 می باشند.
الگوریتم های کاهش گرادیان به دو دسته تقسیم می شوند:
الف. براساس داده ها
Full Batch Gradient Descent Algorithm
Stochastic Gradient Desent Algorithm
در روش فول بچ شما کل داده هرا بصورت یک جا جهت محاسبه گرادیان در نظر می گیرید ولی در استوکستیک نمونه ای از داده جهت محاسبه گرادیان در نظر گرفته می شود.

ب. بر اساس تکنیک های مشتق گیری
مشتق مرتبه اول
مشتقل مرتبه دوم


چالش های اجرای کاهش گرادیان :‌
Back to top
vahid
بي تو هرگز


Joined: 26 Nov 2004
Posts: 3067
Location: Tehran

PostPosted: Mon Mar 13, 2017 1:32 pm    Post subject: Reply with quote

چالش های اجرای کاهش گرادیان:
اگر داده های شما بصورت غیرمنحنی باشد بهینه یابی با استفاده از این روش بسیار مشکل است. چراکه روش کاهش گرادیان برای منحنی ها قابل استفاده است. اگر تعداد مینیموم ها زیاد باشد نیز چالش دیگری است چون باید کوچکترین مینیموم را پیدا کنیم .
نقطه عطف نیز نقطه ایست که در آن گرادیان صفر است در حالیکه می تواند مینیموم ما نباشد.
اگر اجرا بدرستی انجام نشود. مثلا کوچک بودن زیاد گرادیان یا بزرگ بودن بیش از حد آن باعث می شود که الگوریتم درست عمل نکند.
Back to top
Display posts from previous:   
Post new topic   Reply to topic    ParsX.com Forum Index -> داده کاوی اطلاعات All times are GMT + 3.5 Hours
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum