Posted: Sun Jul 03, 2016 11:28 am Post subject: انتروپی شانون
محاسبه انتروپی در داده کاوری
تئوری اطلاعات یکی از اساسی ترین مباحث در علوم کامپیوتر آمار و داده کاوی می باشد.
در این جا سعی من در این است که شما با روشی کاربردی مفهوم انتروپی را درک کنید:
۱. مقدمه ای بر مبحث تئوری اطلاعات
۲. پیاده سازی این مفهوم بااستفاده از php و sql
۳. استفاده از این کلاس ها برای کاوش اطلاعات وب
این راهنما یک نمونه ارتباط کاربردی بین تئوری اطلاعات و تئوری پایگاه داده ها نیز می باشد.
Posted: Sun Jul 03, 2016 11:32 am Post subject: انتروپی تک متغیره و دو متغیره
در این مقاله هدف استفاده از انتروپی برای خلاصه کردن دیتالاگ صفحات وب می باشد. شما یاد می گیرید که چگونه انتروپی یک ستون از پایگاه داده ها را محاسبه کنید(تک متغیره) و اعداد نتیجه انتروپی نمایانگر چیست. در واقع هدف این است که با درک این مفهوم مسائل پیچیده تری که چند متغیره و دو متغیره می باشند را درک کنیم .
Posted: Sun Jul 03, 2016 11:41 am Post subject: متغیرهای تصادفی گسسته
یک پایگاه داده تعداد زیادی متغیر گسسته تصادفی دارد:
ستون fname از جدول members
ستون product ID از جدول Transactions
ستون folder Id از جدول Files
ستون Ip address از جدول WebStats
ستون webpage ID از جدول Webstats
مقادیری که در هر یک از ستون های بالا ذکر شد می تواند اعداد گروه ها و متونی باشد که مجموعه ای از مقادیر متغیرهای تصادفی گسسته می باشند. چرا این متغیرهای تصادفی گسسته را باید در نظر بگیریم؟ توزیع مقادیر این ستون ها را می توانیم با یک تولیدکننده عدد گسسته مثل یک چندجمله ای که بصورت مناسبی پارامتربنده شده است بدست اورد.
Posted: Sun Jul 03, 2016 11:53 am Post subject: تعریف ریاضیاتی اطلاعات
تئوریسین های اطلاعات مفهوم یک متغیر تصادفی گسسته را با یک سیگنال دارای نویز یکی می دانند. با این معادله می توانیم چنین فرض کنیم که ستون های دیتابیس بعنوان منبع یک سیگنال نویزی که حالت های گسسته سیگنال را تولید می کند یکی دانست.
محتوی اطلاعات حالات یک سیگنال منفی لگاریتم حالت احتمال ان می باشد :
I(p(s)) = -log(p(s))
به یاد داشته باشید که ارزش های تابع احتمال همیشه بین ۰ تا ۱ می باشد. لگاریتم این بازه عددی همیشه منفی می باشد. log2(0.5) = -1
حاصلضرب این لگاریتم در عدد ۱- همیشه عددی مثبت خواهد بود. کد php جمله بالا را ببینید:
You cannot post new topics in this forum You cannot reply to topics in this forum You cannot edit your posts in this forum You cannot delete your posts in this forum You cannot vote in polls in this forum