Posted: Mon Nov 14, 2016 10:30 am Post subject: مدل های گرافیکی بیزی - مارکوف
احتمالات نقش اساسی در شناسایی الگوی جدید دارند.
تئوری احتمال در این بحث کلا از دو قاعده قانون جمع و قانون ضرب پیروی می کند.
با توجه به قاعده فوق ما می توانیم هر مدل احتمال پیچیده ای را با عملیات جبری فرموله و حل کنیم.
اما علاوه بر نمایش بصورت جبری می توان از روش مفیدتری برای نمایش دیاگرامی توزیع های احتمال استفاده کنیم که به آٔنها مدل های گرافیکی احتمال می گوییم. فواید به شرح ذیل می باشد:
روشی ساده برای نمایش ساختار مدل احتمال
وابستگی های شرطی به سادگی در گراف قابل نمایش می باشند.
محاسبات پیچیده که لازم به استنتاج و یادگیری مدل های پیچیده می باشدنیز قابل نمایش است
در مدل گرافیکی احتمال هر نود نمایشگر یک متغیر یا گروهی از متغیرها می باشد. یالها نمایشگر ارتباط بین این متغیرها می باشد.
کل گراف نیز بیانگر توزیع احتمال توام متغیر ها می باشد و می توان وابستگی بین متغیرها را با رویت گراف متوجه شد.
در این مقول راجع به شبکه های بیزی bayesian networks که یک directed graphical model گراف با یال های جهت دار می باشد و مدل مارکوف Markov random fields که یک undirected graphical model می باشد بحث خواهیم کرد.
گراف های جهت دار برای نمایش روابط علت و معلولی بین متغیرها مفید بوده در حالیکه گراف های بدون جهت برای توصیف محدودیت های نرم soft constraint (بهینه یابی) بین متغیر ها مناسب می باشد.
برای حل استنتاجی مسایل معمولا راحت تر است که هر دو نوع گراف بدون جهت یا با جهت را طور دیگری نمایش دهیم که به آن factor graph گویند.
در این بحث ما در حدی وارد مدل های گرافیکی می شویم که برای شناسایی الگو و یادگیری ماشین کافی باشد. برای مطالعات بیشتر در مورد این مدل ها باید به منابع مربوطه مراجعه کنید.
Posted: Mon Nov 14, 2016 3:57 pm Post subject: قانون زنجیره ای جمع و ضرب احتمال
sum rule و product rule
(توضیح:در این متن i و j بصورت اندیس می باشند)/
متغیر X میتواند مقادیری به اندازه xi داشته باشدو Y نیز می تواند مقادیری باندازه yj داشته باشد که در آن i=1..M و j=1..L می باشد.
N آزمایش را در نظر بگیریدکه در آن ما مقادیر X و Y را نمونه برداری می کنیم . این مقادیر را nij می نامیم که بیانگر X=xi و Y=yj می باشد.
ضمنا مقدار xi برای X بدون هیچ ارتباطی با مقادیر Y باشد آن را با ci نمایش می دهیم .
ضمنا مقدار yj برای Y بدون هیچ ارتباطی با مقادیر x باشد آن را با rj نمایش می دهیم .
احتمال اینکه X=xi و Y=yj شود را نیز با p(X=xi,Y=yj) نمایش می دهیم که به این توزیع مشترک X=xi وY=yj می نامیم. که بصورت کسری نمایش داده می شود:
p(X=xi,Y=yj)=nij/N
ضمنا مقدارP(X=xi) بدون در نظر گرفتن Y نیز به شرح ذیل می باشد:
p(X=xi)=ci/N
در واقع ci مجموعه nij می باشد که در آن j=1..L در واقع سیگمای ستونی مقادیر جدول مذکور می باشد.
p(X=xi)=sigma{p(X=xi,Y=yj)}j=1..L
به این قاعده sum rule می گوییم. به تابع فوق marginal probability یا تابع حاشیه ای احتمال نیز گفته می شود چون با حذف دیگر متغیرها بدست آمده است.
تابع شرطی p(Y=yj | X=xi) از فرمول ذیل بدست می آید :
Posted: Sun Oct 18, 2020 9:15 am Post subject: 15 Hidden Markov Model Alpaydin
تا الان متغیرها باید iid باشند. دقت کنید میگه متغیرها نه داده ها
الپایدین نمونه یا مثال را sample و متغیرها را instance نام گذاری کرده است
خوبی iid بودن instance ها در چیست؟! در این است که برای محاسبه likelihood هر sample می توان به راحتی likelihood اینستنس ها را درهم ضرب کرد.
خوب در واقعیت کاربردی معمولا اینطوری نیست که instance ها از هم مستقل باشند. مثلا دریک کلمه حروف معمولا به هم وابسته هستند.مثلا در فارسی دو حرف بدون صدا تقریبا احتمال خیلی کمی دارد که کنارهم بیایند یا در انگلیسی معمولا h بعد از t می آید اما برعکس نه. حالادر حالت بزرگتر هم همینطوریه یعنی در یک جمله معمولا دو اسم یا دو فعل پشت سرهم نمی ایند. در DNA هم همینطوری هست می گن .
سیستمی را فرض کنید که در هر لحظه در یکی از N حالت ممکن باشد.
در مدل مارکوف مرحله اول می گوییم حالت در زمان t+1 به حالت در زمان t بستگی دارد و به زمان های قبل از آن بستگی ندارد.
با داشتن حالت فعلی آینده هیچ ربطی به گذشته ندارد.به عبارتی ریاضی فوق به زبان عامیانه تر تعبیر می شود که امروز اولین روز از باقیمانده زندگی شماست.
You cannot post new topics in this forum You cannot reply to topics in this forum You cannot edit your posts in this forum You cannot delete your posts in this forum You cannot vote in polls in this forum