مقاله روش های آماری

اهداف این فصل

توضیح روش های استنتاج آماری که معمولاً در داده کاوی استفاده می شود.

تشخیص پارامترهای آماری مختلف به منظور تقریب سازی اختلاف موجود در داده ها.

توصیف مولفه ها و اصول اساسی ممیز کننده های Navia Bayesian و روش رگرسیون Logistic.

معرفی مدل های log خطی با استفاده از تحلیل متناظر جداول توافقی.

بحث و بررسی در مورد مفاهیم آنالیز واریانس (Anova) و تحلیل ممیزی خطی نمونه های چند بعدی.

آمار علم جمع آوری و سازماندهی داده ها و استخراج نتایج از این مجموعه های داده ها است. سازماندهی و توصیف مشخصات عمومی مجموعه داده ها از اهداف آمار توصیفی و چگونگی استخراج نتایج از داده ها، از اهداف استنتاج آماری است. در این فصل، تاکید روی اصول اساسی استنتاج آماری است و عناوین مرتبط دیگر به طور خلاصه و فقط برای درک مفاهیم اساسی توضیح داده خواهد شد.

دامنه این تحلیل ها از تحلیل داده های یک بعدی تا تحلیل داده های چند متغیره تشکیل شده است. علم آمار روش های مختلفی را برای داده کاوی پیشنهاد می کند که شامل انواع مختلف رگرسیون و تحلیل ممیزی مبین می باشد. ایم بازبینی کوتاه از روش های آماری که فرآیند داده کاوی را پیشنهاد می کند همه روش ها را پوشش نخواهد داد و تکنیک هایی که بیشتر در داده کاوی جهان واقعی استفاده می شود بیان شده است.

1. استنتاج آماری

تمام مشاهداتی که در تحلیل آماری مورد استفاده قرار می گیرند، اعم از این که تعداد این مشاهدات متناهی یا غیر متناهی باشند تشکیل دهنده چیزی هستند که ما آن را جامعه می نامیم. این اصطلاح به گروهی از افراد اشیا یا رویدادها اطلاق می شود. تعداد مشاهدات در جامعه به عنوان اندازه جامعه تعریف می شود. عموما جامعه ممکن است متناهی یا نا متناهی باشد، اما در تئوری، جامعه متناهی خیلی بزرگ را نامتناهی فرض می کنیم.

در استنتاج آماری علاقه مندیم هنگامی که مشاهده کلی مشاهدات جامعه غیر ممکن یا غیر عملی است، به نتایجی در مورد جامعه برسیم. به عنوان مثال هنگام مبادرت به تعیین میانگین طول عمر لامپ های روشنایی مارک خاصی، تست همه لامپ ها غیر عملی خواهد بود. بنابراین ما باید به زیر مجموعه مشاهدات جامعه برای تحلیل آماری بسنده کنیم. در آمار مجموعه ای از یک جامعه نمونه نامیده می شود و این بردارهای n بعدی را از مجموعه داده های متناهی توصیف می کند. در سراسر این کتاب ما این زیر مجموعه از جامعه را مجموعه داده ها می نامیم. ما از جامعه یک مدل آماری می سازیم که به ما در تعمیم استنتاج به جامعه مشابه این جامعه کمک می کند و برای این که برداشت ما از مجموعه داده ها درست باشد باید نمونه ای انتخاب کنیم که نماینده جامعه باشند. چنانچه سعی به انتخاب مجموعه ای با مناسب ترین اعضای جامعه را داشته باشیم، از آنجایی که یک شیوه ممکن است منجر به استنتاج نادرست و تعمیم آن به جامعه شود و هر رویه ای که موجب زیاد برآورد کردن یا کم برآورد کردن بعضی مشخصات جامعه شود گفته می شود که به یک طرف متمایل شده است، برای رفع هر گونه انحرافی در روال یا فرآیند نمونه گیری مطلوب است که مجموعه داده ها به طور تصادفی و مستقل انتخاب گردد. هدف اصلی انتخاب نمونه های تصادفی استخراج اطلاعات درباره پارامترهای ناشناخته جامعه است.

ارتباط میان مجموعه داده ها و سیستم ممکن است توسط استدلال قیاسی توصیف شود: از داده های مشاهده شده به دانش یک سیستم ناشناخته (تا حدودی ناشناخته) استنتاج آماری صورت اصلی استدلال مربوط به تحلیل داده ها است. تئوری استنتاج آماری شامل روش هایی برای استنتاج یا تعمیم نتایج به جامعه است. این روش ها در دو دسته اصلی قرار میگیرند: برآورد و آزمون فرضیه ها.

در فرآیند برآورد می خواهیم از یک مقدار محتمل یا بازه ای از مقادیر محتمل به پارامترهای ناشناخته سیستم برسیم، هدف اصلی دستیابی به اطلاعات از مجموعه T برای برآورد یک یا چند پارامتر W که به مدلی از سیستم واقعی تعلق دارد می باشد. (X,w)f. یک مجموعه داده T به وسیله مقادیر n تایی برای متغیرهای x={x1,x2,…,xn} توصیف می شود (صفات موجودیت ها در جامعه):

این عبارت می تواند در یک جدول به عنوان مجموعه ای از نمونه ها با مقادیر متناظر برای هر مشخصه سازماندهی شود. هنگامی که پارامتر های مدل، تخمین زده شوند، می توانیم از آن ها برای پیشگویی در مورد متغیر تصادفی y از مجموعه اولیه صفات Y € X براساس دیگر متغیرها یا مجموعه ای از متغیرها X = X – Y استفاده کنیم اگر Y یک کمیت عددی باشد در مورد رگرسیون صحبت می کنیم و اگر مقادیری از یک مجموعه گسسته، نادرست باشد در مورد بسته بندی صحبت خواهیم نمود.

هرگاه تخمین هایی برای مدل پارامترهای w از مجموعه داده T به دست آوریم، ممکن است از مدل منتج شده برای پیشگویی در مورد Y استفاده کنیم. وقتی که مقدار متناظر بردار X را داریم. اختلاف میان پیشگویی (X,w)f و مقدار واقعی Y خطای پیشگویی نامیده می شود. این خطا باید ترجیحا مقادیر نزدیک به صفر به خود بگیرد. یک برآورد و سنجش کیفیت طبیعی از یک مدل (X,w)f به عنوان یک پیشگویی کننده Y میانگین مربع خطای قابل انتظار برای هر مجموعه داده T  است.

آزمون های آماری قصد دارند تا فرض مربوط به مقدار مشخصه جامعه در یک تحلیل از مجموعه داده ها را قبول یا رد کنند. یک فرض آماری یک ادعا یا حدس مربوط به یک یا چند جامعه است. صحت و سقم یک فرض آماری هرگز با اطمینان مطلق قابل بررسی نیست مگر این که همه جامعه را امتحان کنیم که البته این در حداکثر مواقع غیر عملی است و گاهی اوقات حتی غیر ممکن است. در عوض ما فرض را روی مجموعه داده های انتخاب شده به طور تصادفی امتحان می کنیم. چنانچه مدارک به دست آمده از مجموعه داده متناقض با فرض اظهار شده باشد، آن فرض رد می شود و چنانچه تأیید کننده فرض باشند این موجب پذیرش آن فرض می شود، به طور دقیق تر باید گفت که داده ها مدارک کافی برای رد آن فرض را ندارد. ساختار آزمون فرض با استفاده از عبارت فرض تهی تنظیم می شود. این بدین معنی است فرضی که بخواهیم تست کنیم با H0 فقط در صورتی که فرض نادرست نباشد رد می شود. رد H0 منجر به پذیرش یک فرض دیگر در جامعه می شود.

در این فصل بعضی روش های تخمین آماری و آزمون فرض با جزئیات بیشتر توضیح داده می شوند. که این روش ها بر پایه تکنیک های کاربردی در فرآیند داده کاوی روی مجموعه داده بزرگ انتخاب شده اند.