AIcode مرجع تخصصی هوش مصنوعی

<aicode>

 

 

 

 

 

وارسی اعتبار (Cross-Validation)

روش وارسی اعتبار (CV) یک متد توسعه‌یافته و موردپذیرش برای آنالیز صحت پیش‌بینی می‌باشد. از این روش به‌طور عمده برای زیرمجموعه‌های تصادفی و یا چند‌بخشی(k-fold) از مجموعه آزمون و آموزش، استفاده می‌شود. روش ذکرشده به‌عنوان یک متد نمونه‌برداری جزء که رویکردی ساده از وارسی اعتبار می‌باشد، شناخته‌شده است. در روش اعتبارسنجی k-fold، مجموعه دادها را به k بخش مجزا تقسیم می‌شوند. فرایند مدل‌سازی را برای k مرتبه تکرار می‌کنیم و در هر مرتبه k-1 بخش از داده‌ها برای پروسه آموزش استفاده می‌شود و یک بخش از داده‌ها که در فرایند آموزش، شرکت داده نشده، برای فرایند تست و اعتبارسنجی مدل پیش‌بینی کننده، مورد استفاده قرار می‌گیرد. در خاتمه از خطای پیش‌بینی محاسبه شده در هریک از k مرحله متوسط‌گیری می‌شود. مزیت استفاده از زیرمجموعه‌سازی تصادفی داده‌ها در این روش سبب می‌شود تأثیر نحوه توزیع داده‌ها برای فرایند مدل‌سازی حذف شود. واریانس نتایج حاصل از متوسط گیری برای حالتی که مقدار ، بسیار بزرگ باشد، بسیار کوچک خواهد بود[1].

آنالیز حساسیت

ارزیابی عملکرد الگوریتم‌های شرح داده‌شده در بالا، با استفاده از معیارهای متفاوتی بر مبنای دیدگاه حساسیت و تشخیص صورت گرفته شده‌است. حساسیت و تشخیص در آمار دو شاخص برای ارزیابی نتیجه یک دسته‌بندی دودویی (دوحالته) هستند. زمانی که بتوان داده‌ها را به دو گروه مثبت و منفی تقسیم کرد، دقت نتایج یک آزمایش که اطلاعات را به این دو دسته تقسیم می‌کند با استفاده از شاخص‌های حساسیت و ویژگی قابل اندازه‌گیری و توصیف است. معیارهای مورد استفاده در این دیدگاه به شرح زیر می‌باشند:
Tp_i: مثبت صحیح از کلاس ام (دفعاتی که هریک از شرایط سه‌گانه احتراق را به‌درستی طبقه‌بندی می‌کند).
TN_i: منفی صحیح از کلاس ام.
FP_i: مثبت کاذب از کلاس ام (دفعاتی که هریک از شرایط سه‌گانه احتراق را به‌درستی طبقه‌بندی نمی‌کند).
FN_i: منفی کاذب از کلاس ام.
Precision: نسبت مقداری موارد صحیح طبقه‌بندی‌شده توسط الگوریتم از یک کلاس مشخص، به‌ کل تعداد مواردی که الگوریتم چه به‌صورت صحیح و چه به‌صورت غلط، در آن کلاس طبقه‌بندی کرده است که به‌صورت زیر محاسبه می‌شود:

precision

Recall: نسبت مقداری موارد صحیح طبقه‌بندی شده توسط الگوریتم از یک کلاس به تعداد موارد حاضر در کلاس مذکور که به‌صورت زیر محاسبه می‌شود:

recall

F-Measure: با توجه به محاسبات انجام گرفته برای معیارهای Precision و Recall، در این مرحله می‌توان مقدار کمیت وزن‌دار F-Measure را محاسبه نمود. F-Measure، پارامتر مناسبی برای ارزیابی کیفیت کلاس‌بندی می‌باشد و همچنین توصیف‌کننده میانگین وزن‌دار مابین دو کمیت Precision و Recall می‌باشد. برای یک الگوریتم کلاس‌بندی کننده در شرایط ایده‌آل، مقدار این کمیت برابر با 1 می‌باشد و در بدترین وضعیت برابر با صفر می‌باشد. این پارامتر با توجه به رابطه زیر محاسبه می‌شود:

f

MCC: پارامتر دیگری است که برای ارزیابی کارایی الگوریتم‌های یادگیری ماشین از آن استفاده می‌شود. این پارامتر بیان‌گر کیفیت کلاس‌بندی برای یک مجموعه باینری می‌باشد. (MCC (Matthews correlation coefficient، سنجه‌ای است که بیان‌گر بستگی مابین مقادیر مشاهده شده از کلاس باینری و مقادیر پیش‌بینی شده از آن می‌باشد. مقادیر مورد انتظار برای این کمیت در بازه 1- و 1 متغیر می‌باشد. مقدار 1+، نشان دهنده پیش‌بینی دقیق و بدون خطای الگوریتم یادگیر از کلاس باینری می‌باشد. مقدار 0، نشان دهنده پیش‌بینی تصادفی الگوریتم یادگیر از کلاس باینری می‌باشد. مقدار 1-، نشان دهنده عدم تطابق کامل مابین موارد پیش‌بینی شده از کلاس باینری و موارد مشاهده شده از آن می‌باشد. مقدار این پارامتر را به‌طور صریح، با توجه به مقادیر ماتریس آشفتگی به شرح زیر، می‌توان محاسبه نمود:

MCC

 ماتریس آشفتگی

در حوزه هوش مصنوعی، ماتریس در هم ریختگی (confusion matrix) به ماتریسی گفته می‌شود که در آن عملکرد الگوریتم‌های مربوطه را نشان می‌دهند. معمولاً چنین نمایشی برای الگوریتم‌های یادگیری با ناظر استفاده می‌شود، اگرچه در یادگیری بدون ناظر نیز کاربرد دارد. معمولاً به کاربرد این ماتریس در الگوریتم‌های بدون ناظر ماتریس تطابق می‌گویند. هر ستون از ماتریس، نمونه‌ای از مقدار پیش‌بینی‌شده را نشان می‌دهد. درصورتی‌که هر سطر نمونه‌ای واقعی (درست) را در بر دارد. اسم این ماتریس نیز ازآنجا بدست می‌آید که امکان این را آسان‌تر اشتباه و تداخل بین نتایج را مشاهده کرد. در خارج از هوش مصنوعی این ماتریس معمولاً ماتریس پیشایندی (contingency matrix) یا ماتریس خطا (error matrix) نامیده می‌شود.

[1] Mohammad Asrardel, "Prediction of Combustion Dynamics in An Experimental Turbulent Swirl Stabilized Combustor with Secondary Fuel Injection", University of Tehran, 2015.

تبلیغات AIcodeMahak

AIcode مرجع تخصصی آموزش مهندسی کامپیوتر و هوش مصنوعی

تماس با ما

ايميل: info@aicode.ir

عضویت در خبرنامه AIcode