Posted: Sat Jul 05, 2014 3:26 am Post subject: تئوری اطلاعات Information Theory
Consider a discrete random variable : x
حالا ما می خواهیم ببینیم چقدر اطلاعات می توانیم با درنظر گرفتن یک مقدار مشخص برای این متغیر بدست آوریم.
استنباط من از ترجمه اینه: مقدار اطلاعاتی که می توان از این طریق مشاهده کرد برای یادگرفتن مقدارریخته شده درx را گویند degree of surprise
اگر یکی به ما بگوید که یک اتفاق که احتمال وقوع آن خیلی کم بوده است افتاده است، بدون شک اطلاعات زیادی نسیب ما شده است تا زمانیکه به ما بگویند یک اتفاقی که احتمال وقوع آن زیاد است افتاده باشد. اگر بدانی آن اتفاق مطمئنا باید بوقوع می پیوسته است بنابراین عملا هیچ اطلاعاتی با دانش ما اضافه نشده است.
بنابراین معیار اندازه گیری محتویات اطلاعات ما به توزیع احتمال p(x) و بدنبال آن مقدار h(x) که بصورت تابع یکنواختی از تابع احتمال P(x) می باشد و بیانگر محتوی اطلاعات می باشد می رویم.
فرمh(.) اگر دو رویداد x و y که بهم مرتبط نیستند سپس اطلاعات دریافتی از مشاهده این دو با هم می شود مجموع اطلاعات دریافتی بصورت جداگانه از همدیگر یعنی :
h(x,y)=h(x)+h(y)
دو رویداد غیرمرتبط بصورت آماری مستقل هستند بنابراین:
p(x,y)=p(x)p(y)
از این دو رابطه بسادگی نمایش داده شده است که h(x) از لگاریتم p(x) بدست می آید:
h(x)=-log p(x)
علامت منفی تضمین می کند که اطلاعات مثبت یا صفر می باشد.
هرچه احتمال رویداد x کمترباشد محتوی اطلاعات ما بیشتر است.انتخاب پایه برای لگاریتم اختیاری مب اشد. بنابراین باید این قانون را بپذیریم این موضوع شایع را در تئوری اطلاعات که از لگاریتم پایه 2 استفاده کنیم. واحدهای h(x) را بیت در نظر می گیریم.
Posted: Tue Jan 12, 2016 10:05 am Post subject: تئوری اطلاعات
بازهم تاکید می کنم وقتی اتفاقی رخ می دهد که وقوع آن خیلی بعید بنظر می رسید دانش زیادی نصیب ما شده است تا اینکه خبری به گوش ما برسد که حدث می زدیم این اتفاق بیفتد مثلا اینکه بگویند اوباما رییس جمهور آمریکاست اطلاعات زیادی نیست اما اینکه بگویند وی را کشته اند خبر جدیدیست و اطلاعات بیشتری به ما رسیده است.
لذا حیفم میاد ترجمه این جمله رو بنویسم:
Our measure of information content will therefore depend on the probability distribution p(x) and we therefore look for a quantity h(x) that on the probability distribution p(x)...
یعنی میزان محتوای اطلاعاتی که بدست ما میرسد به توزیع احتمال p(x) بستگی داردبنابراین دنبال مقداری بنام h(x) می گردیم که تابعی یکنواخت از احتمال p(x( می باشد که میزان اطلاعات را نمایش می دهد.
You cannot post new topics in this forum You cannot reply to topics in this forum You cannot edit your posts in this forum You cannot delete your posts in this forum You cannot vote in polls in this forum
Profile 
Log in to check your private messages | 
FAQ 
Search 
Memberlist 
Usergroups 
Log in
Register
