AIcode مرجع تخصصی هوش مصنوعی

<aicode>

 

 

 

 

 

درخت تصمیم یکی از ابزارهای قدرتمند و متداول برای دسته‌بندی و پیش‌بینی داده‌ها با رویکرد یادگیری نظارت شده می‌باشد. ساختار فلوچارت گونه آن به کاربر کمک می‌کند تا درک بهتری از نتایج پیش‌بینی و کلاس‌بندی در مسائل مورد طرح در حوزه یادگیری ماشین و آمار، داشته باشد. در این ساختار هر گره داخلی، آزمونی را بر روی یک ویژگی مشخص می‌کند. گره‌های برگ، کلاس‌ها یا توزیع کلاس‌ها را ارائه می‌نماید. بالاترین گره در درخت، گره ریشه نامیده می‌شود. در شکل زیر، نمایی از یک درخت تصمیم که از آن برای شناسایی وضعیت کیفی پارامترهای احتراق استفاده شده، مشخص شده است.

1

 نمایی از نحوه عملکرد درخت تصمیم

درخت تصمیم پیش‌بینی خود را در قالب یکسری قوانین (مانند ساختار‌های if-then) توضیح می‌دهد درحالی‌که در روش‌های شبکه عصبی، تنها پیش‌بینی بیان می‌شود ولی چگونگی آن در قالب یکسری وزن‌های نورونی، در داخل شبکه پنهان باقی می‌ماند. در علم داده‌کاوی، الگوریتم‌های درخت تصمیم به‌عنوان ترکیبی از ریاضیات و تکنیک‌های محاسبات عددی، توصیف می‌شود. صورتی که مقادیر هدف در این الگوریتم ماهیتی عددی داشته باشند، درخت تصمیم را درخت رگرسیون نیز می‌نامند. همان‌طور که ذکر شد، الگوریتم‌های زیادی برای داده‌کاوی با نگرش درخت تصمیم وجود دارد، تعدادی از شناخته‌شده‌ترین آن‌ها IDE، C4.5، CART، CHAID و MARS هستند.

فرایند یادگیری درخت تصمیم

فرایند یادگیری در تمام الگوریتم‌های نام برده شده از خانواده درخت تصمیم بر مبنای انتخاب متغیری که بیشترین انشعاب را بین کلاس‌های موردنظر ایجاد کند، استوار شده‌است. متدهای متفاوتی با رویکردهای مختلف، برای انتخاب ویژگی‌هایی که به ترتیب بتوانند، بیشترین انشعاب را در داده‌ها ایجاد کنند، درنظر گرفته می‌شود. در زیر برخی از این متدها را توضیح می‌دهیم:

• ناخالصی جینی (Gini impurity)

از این متد در درخت تصمیم CART استفاده شده است. ناخالصی جینی سنجه‌ای است که بر مبنای این ایده استوار است، چه تعداد از دفعاتی که انتخاب تصادفی از یک مجموعه از داده‌ها صورت می‌گیرد، منتج به برچسب‌گذاری اشتباه می‌شود، اگر به‌صورت تصادفی با توجه به نحوه توزیع برچسب‌ها در داده‌های موجود، برچسب‌گذاری صورت پذیرد. کمیت ناخالصی جینی را می‌توان با جمع احتمالات هر یک آیتم‌هایی که انتخاب می‌شود، ضرب در احتمال اشتباه گروه‌بندی شدن آن ایتم موردنظر، حساب نمود. مقدار این کمیت صفر می‌شود، برای حالتی که تمامی ایتم‌ها از گره‌های درخت تصمیم، به سمت هریک از برگ‌های دسته‌بندی کننده، ریزش کنند. برای محاسبه ناخالصی جینی برای مجموعه‌ای از ایتم‌ها، فرض کنید i، مقادیر مجموعه {l,2,...,m} را می‌پذیرد و f_i را به‌عنوان کسر ایتم‌هایی که با مقدار i، در مجموعه داده‌ها برچسب‌گذاری شده‌اند. سپس داریم :

2

• بهره اطلاعات

از این متد برای الگوریتم‌های درخت تصمیم IDE، C4.5 و C5.0 استفاده شده است. کمیت بهره اطلاعات یک مقدار آماری بر مبنای مفهوم آنتروپی از تئوری اطلاعات بنا شده است. این کمیت مشخص می‌کند که یک ویژگی تا چه مقدار قادر است مثال‌های آموزشی را برحسب دسته‌بندی آن‌ها جدا کند. در این میان آنتروپی میزان خلوص (بی‌نظمی یا عدم خالص بودن) مجموعه‌ای از مثال‌ها را مشخص می‌کند.

3

بهره اطلاعاتی یک ویژگی، عبارت است از مقدار کاهش آنتروپی که به‌واسطه جداسازی مثال‌ها از طریق این ویژگی حاصل می‌شود.به‌عبارت‌دیگر، بهره اطلاعات (Gain(S,A برای یک ویژگی نظیر A، نسبت به مجموعه مثال‌های S، به‌صورت زیر تعریف می‌شود:

4
که در آن (Value(A مجموعه همه مقدار ویژگی‌های A بوده و S_v، زیرمجموعه‌ای از S است که برای آن A دارای مقدار v است. در تعریف فوق، عبارت اول مقدار آنتروپی داده‌ها و عبارت دوم مقدار آنتروپی مورد انتظار بعد از جداسازی داده‌ها است.

• کاهش واریانس

از متد کاهش واریانس در الگوریتم درخت تصمیم CART، زمانی استفاده می‌شود که متغیر هدف ماهیتی پیوسته داشته باشد (درخت رگرسیون)، به این معنای که استفاده از متد‌های پیشتر ذکرشده، در مرحله نخست نیاز به گسسته سازی قبل از اعمال‌شدن دارد. کاهش واریانس گره N، به‌صورت کاهش کلی واریانس متغیر هدف x با توجه به انشعاب در گره مذکور به‌صورت زیر تعریف می‌شود:

5
که در آن S_t، S و S_f، مجموعه‌هایی از اندیس‌های پیش تقسیم می‌باشند، مجموعه‌ای از اندیس نمونه‌ها که نشان می‌دهد کدام انشعاب صحیح است و متعاقباً کدام انشعاب غلط.

مزایای استفاده از درخت تصمیم

1. توانایی پیش‌بینی داده‌ها براساس ارائه یکسری قوانین قابل‌درک را دارد.
2. نیاز کمی به پیش‌پردازش اولیه داده‌ها دارد (سایر روش‌ها اغلب، نیاز به نرمال‌سازی یا پرت‌یابی داده دارند).
3. نیاز به محاسبات خیلی پیچیده برای دسته‌بندی ندارد و سرعت همگرایی مناسبی دارد.
4. برای انواع مختلف داده‌ها، چه پیوسته و چه رده‌ای، قابل‌استفاده می‌باشد.
5. درخت تصمیم‌گیری می‌تواند در ارائه شدت تأثیر هر ویژگی برای پیش‌بینی و یا کلاس‌بندی داده‌ها به کار گرفته شود.

[1] Mohammad Asrardel, "Prediction of Combustion Dynamics in An Experimental Turbulent Swirl Stabilized Combustor with Secondary Fuel Injection", University of Tehran, 2015.

[2] T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, 2009.

تبلیغات AIcodeMahak

AIcode مرجع تخصصی آموزش مهندسی کامپیوتر و هوش مصنوعی

تماس با ما

ايميل: info@aicode.ir

عضویت در خبرنامه AIcode