سوال درباره شبکه عصبي در SPSS

Salam jenabe aghaye pak gohar
man eiman reza daneshjooye karshenasie arshade geotechnic hastam va daram ruye shabakeye asabi baraye behine sazie natayeje mohasebatam kar mikonam, ye chand ta soal dar morede spss va neural network dashtam, ba tavajoh be jostejuei ke kardam be nazaram shoma mitunid moshkele mano hal konid. albate omidvaram ke manam betunam zahmataye shomaro jobran konam.
man ye modele MLP tu spss sakhtam va mikham ke ruye ye seri data jadid emteham konam va predicted value ke spss mide ro ba natayeje khodam moghayese konam vali harchi manual o sitesho ziro roo kardam jaei in mozoo ro peyda nakardam.
age mano rahnamaei konin mamnoonn misham
khoda negah dar
dar zemn age in emkan bashe ke telephoni mozahemetun besham ke aaalie.
mamnoon
khoda negah dar

پاسخ با سلام خدمت دوست عزيز

بايد بگويم شما مي توانيد داده هايي را که انتظار داريد روي انها پيش بيني مجئدد انجام شود در مدلسازي رگرسيوني شبکه عصبي با عنوان داده هاي آزمايشي test set شناخته ميشه. و معلادلا داده هاي قبلي که به واسطه آنها مدل شبکه را برازش داده ايد داده هاي آموزشي يا TRAINING SET ناميد مي شوند. براي تشخيص ميزان دقت پيش بيني کافيست اين دو دسته داده را  زير هم در نرم افزار SPSS وارد کنيد انگاه در قسمت Partition از نرم افزار که از شما تعداد داده هاي آموزشي  و آزمايشي را مي خواهد شما دو دسته داده خود را تعيين کنيد. همچنين در قسمت Save گزينه Save predicted value را انتخاب کنيد تا ستون جديدي در صفحه داده هايتان ظاهر شود که در ان ستون مقادير پيش بيني شده را داده است بديهي است شما با مقايسه داده هاي واقعي و داده هاي پيش بيني شده مي توانيد دقت مدل خود را تعيين کنيد.

موفق باشيد. 

آشنایی با درخت تصمیم - رگرسیون درختی

 

سلام خدمت دوستان عزیزم.

این فایل اگرچه برای آقای کاظمی به منظور استفاده در پایان نامه ارشد ایشان تهیه گردید لیکن از آنجا که مناسب برای دیگران نیز بود به طور کلی در اختیار علاقمندان بحث مدلسازی قرار می دهم

نکته ای که باید درباره رگرسیون درختی عرض کنم آن است که این مدل نه تنها یک مدل رگرسیونی است علاوه برآن مدل رده بندی یا کلاسه بندی نیز محسوب می شود. معادل این مدل رگرسیون لجستیک است. از آنجا روش تحلیل ممیزی خطی نیز با رگرسیون لجستیک مقایسه شده است بنابراین میتوانیم این سه را مدل های همتراز بدانیم. اینکه ککدام بهتر است مطالعات نشان داده است تحلیل ممیزی خطی بهتر است مخصوصا اگر رده ها بیشتر شود. اما پذیره هایی نیز به همراه دارد از جمله نرمال بودن متغیر. و معمولا داده های ما این خصوصیات را در بر نمی گیرند. مدل رگرسیون لجستیک یک مدل آماری مبتنی بر احتمالات است که نسبت به درختی تمایزاتی دارد. اما مدل درختی تفسیر آسان دارد. بیان کننده یک استراتژی برای تصمیم گیری است و البته برای داده های زیاد مفید است. تاکید میکنم هرچه داده ها بیشتر باشد با مدل بهتری سرو کار خواهید داشت. در برازش مدل درختی در نرم افزار SPSS شما با سه تکنيک ارزيابي متقاطع Cross validationو ساده Simpleو دونيمه کردن Split Sampleنمونه آشنا مي شويد. دونيمه کردن به شرط آنکه تعداد داده ها زياد باشد ارجحيت دارد و اگر داده ها کمتر از آن است که بگوييد با يک دادگان از داده ها (چيزي شبيه بانک اطلاعاتي) سرو کار داريد بهتر است از روش ساده ياSIMPLE استفاده کنيد

فايل مقاله در اختيار دوستان قرار ميدهم.

درخت تصمیم - رگرسیون درختی

ادامه نوشته

اندازه نمونه هنگام برازش مدل شبکه عصبی

بعضی درباره اندازه نمونه سوال پرسیده اند.

که پاسخ مفصل می طلبد اما باید درباره شبکه عصبی بنویسم که در مطالعات انجام یافته محققان به این نتیجه رسیده اند که تعداد داده ها باید حداقل بیش از مربعات لایه ورودی به علاوه لایه خروجی در مدل شبکه عصبی باشند. این مقدار براورد شده یک مقدار تجربی است. در اولین فرصت منابع را هم برای استفاده دوستان یاد داشت میکنم.

تبديل رگرسيون لجستيك به يك ابزار اصلي داده‌كاوي توسط TR-IRLS(ترجمه مقاله)

تبديل رگرسيون لجستيك به يك ابزار اصلي داده‌كاوي توسط TR-IRLS

 

Paul Komarek

Carnegie Mellon University

School of Computer Science

Pittsburgh, PA 15213

[e-mail]

 

Andrew W. Moore

Carnegie Mellon University

School of Computer Science

Pittsburgh, PA 15213

[e-mail]

چكيده

            كلاس‌بندي باينري يك وظيفه اصلي داده‌كاوي است. براي مجموعه‌هاي بزرگ داده‌ها يا ابزارهاي بلادرنگ، كلاس بندي كننده‌هايي مورد علاقه هستند كه دقيق و سريع باشند و نيازي به تنظيم هيچ پارامتري نداشته باشند. ما در اينجا يك كاربرد ساده رگرسيون لجستيك را ارائه مي‌دهيم كه اين شرايط را دارا است. تركيبي از روش تنظيم نيوتني مقطع و روش كمترين مربعات با وزن گذاري چند مرحله‌اي اي كار را سريعتر و دقيقتر از روشهاي مدرن SVM انجام مي‌دهد و حساسيت به پارامترها را تا حدودي كم مي‌كند. و نسبت به وابستگيهاي خطي و برخي مسائل مقياسي مقاوم است كه نياز به برخي عمليات پيش ـ پردازش داده‌ها را از بين مي‌برد.

 

1- انگيزه و توضيح اصطلاحات

            انگيزه اين مقاله موفقيت يك الگوريتم رگرسيون لجستيك (LR) سريع و ساده در چندين مورد داده‌كاوي با تعداد ابعاد بالا بود، كه شامل داده‌كاوي علو زيستي ( 7 و 10 )، طبقه‌بندي تهديد و آناليز ارتباط موقت ( 16 )،‌ فيلتر كردن شراكتي ( 11 ) و پردازش متن ( 7 ) مي‌گرديد. ظهور ماشينهاي بردار حمايت (SVM) در كلاس‌بندي باينري ( دوتايي ، دو حالته ) به دليل توابع افت مشابه ،‌ موجب علاقه مجدد به LR  شده است ( 20 و 21 )‌.در بسياري از مقالات اخير روشهاي جديدي براي تخمين زدن پارامترهاي مدل LR پيشنهاد شده، مرجع ( 8 ) و ارجاعات آنرا نگاه كنيد. بسياري از كاربردهاي جديد LR شامل دستورالعملهايي براي تنظيم پارامترها و يا پيش ـ پردازش داده‌ها هستند. اين مراحل ميتواند در مورد مجموعه‌هاي داده كوچك گمراه كننده و در مورد مجموعه داده‌هاي بزرگ غير عملي يا غير ممكن باشد. انجام تعداد زيادي ارزيابيهاي متقاطع براي تنظيم پارامترها زمان محققان و اجرا كنندگان را هدر مي‌دهد.

            روش فيت كردن ما براي LR شامل اصلاحات ساده‌اي در كمترين مربعات با وزن گذاري چند‌ مرحله‌اي (IRLS) است كه از روشهاي نيوتني مقطع پيروي ميكند و تنظيماتي را اضافه مي‌كند. ادعاي ما براين است كه اين روش ساده است و احتياجي به تنظيم پارامتر يا پيش ـ پردازش داده‌ها ندارد. ما الگوريتم خودمان TR- IRLS را با ديگر ابزارهاي LR و SVM هاي خطي و SVM‌هاي مبني بر تابع شعاعي (RBF) مقايسه مي‌كنيم. براي مقايسه و تحليل بيشتر مرجع (8) را ببينيد. نرم‌افزار ، source و بيشتر مجموعه‌هاي داده‌هاي ما در   http://www.autonlab.org    و    http://komarix.org    موجود است.

            در ابتدا نشان مي‌دهيم كه TR-IRLS ميتواند LR را ساده ، موثر ، و بدون پارامتر كند. منظور از بدون پارامتر اين است كه عموما تنظيم لازم نيست. اگر چه در اين مقاله كوتاه نيامده ولي، TR-IRLS در مورد LR هسته‌اي و همچنين هر مدل خطي تعميم يافته‌اي كاربرد دارد. ما توضيح كاملي را از الگوريتم خودمان ارائه مي‌دهيم.

            ما در اين مقاله به كلاس‌بندي باينري مي‌پردازيم، و اينكه يه نقطه داده متعلق به كلاس مثبت است يا كلاس منفي. يك كلاس‌بندي كننده به اندازه كافي سريع بطور منطقي ميتواند از طريق يك تبديل خطي نسبت به زمان ( تعداد كلاسها نسبت به زمان خطي باشد) در مورد مسائل چند كلاسي بكار رود ( 11 ). يك مجموعه داده ماتريسي از وروديها X و يك بردار باينري خروجي y است. هنگاميكه yi = 1 باشد سطر i ام از X مربوط به كلاس مثبت است. M خصوصيت و R ركورد وجود دارد. براي يك ماتريس باينري پراكنده، F ميزان پراكندگي، و MRF تعداد عناصر غير صفر است.

            گراديان مزدوج (conjugate gradient)  (CG) يك الگوريتم كمينه سازي چند مرحله‌اي است. CG تنها به محاسبه حاصلضربهاي ماتريس ـ بردار دارد. هنگاميكه CG بر يك صورت نمايي اعمال شود بصورت خطي در مي‌آيد. در غير اين صورت CG غير خطي ناميده مي‌شود و نياز به تصحيح جهت پي برنده ،‌ جستجوهاي خطي،‌ و شروع مجدد دارد. بدليل اينكه Hessian صورت نمايي يك ماتريس است، از CG خطي مي‌توان براي حل سيستمهاي معادلات خطي استفاده نمود. توضيحات بيشتر را مي‌توانيد در مراجع ( 17 و 19 ) پيدا كنيد.

 

2- رگرسيون لجستيك

            LR رابطه بين هر سطر x1 از X  و مقدار مورد انتظار E(yi) را مدل مي‌كند كه تابع لجستيك آن

 است كه در آن b بردار پارامترها است. فرض مي‌كنيم  بنابراين  يك جمله ثابت است. مدل رگرسيون ما بصورت  است كه  در آ ن يك عبارت خطاي دوجمله‌اي است. قرار دهيم  . احتمال رخداد لگاريتمي بصورت زير است :

                                              ( 1 )

تابع افت همان انحراف است (DEV) ،‌ كه براي خروجيهاي باينري بصورت 2 ln L -  است (4 و 13 ). LR يك كلاس بندي كننده خطي است و ممكن است داده‌هاي با ابعاد پايين با مرزهاي غير خطي را به خوبي كلاس بندي نكند. بهر حال،‌درفضاهاي با ابعاد بالا معمولا شرايط مرزي خطي مناسب هستند. هسته بندي LR ممكن است بر اين محدوديت ابعاد پايين فايق آيد ( 21 ).

 

 

 

IRLS

كمترين مربعات با وزن گذاري چند مرحله‌اي (IRLS) يك الگوريتم بهينه سازي غير خطي است كه از يك سري زير مسائل كمترين مربعات وزني (WLS) براي جستجوي MLE استفاده مي‌كند ( 2 و 13 ). IRLS يك مورد خاص از روش امتياز بندي Fisher است، يك الگوريتم quasi-Newton كه Hessian تابع موضوعي را با اطلاعات Fisher جايگزين مي‌كند. براي LR ، IRLS يك صورت خاص از روش نيوتن است ( 2 و 3 و 13 ). ما IRLS را در الگوريتم 1 خلاصه مي‌كنيم. بر خلاف بيشتر انواع روشهاي نيوتني، هيچ طول مرحله‌اي براي محاسبه وجود ندارد. قسمت مشكل حل كردن زير مسئله WLS بصورت

 است ، يك سيستم خطي با M معادله و M مجهول. عنصر ( i , j ) ام ماتريس X^TWX حاصلضرب نقطه‌اي وزني ستونهاي i ام و j ام است. وزن در هر مرحله تغيير مي‌كند كه بايد دوباره محاسبه شود. روش نيوتن بتدريج به همگرايي مي‌رسد، ولي هر مرحله از نظر محاسبه هزينه بر است. براي توضيح كامل كار اوليه ما روي IRLS مرجع ( 10 ) را نگاه كنيد.

           

TR-IRLS

            به اين دليل كه زير مسئله‌هاي WLS سيستمهاي خطي هستند، آنها را مي‌توان همانگونه كه در الگوريتم 2 آمده با استفاده از CG خطي حل نمود. اين كار از بهينه سازي احتمال وقوع توسط CG غير خطي آسانتر است، زيرا CG خطي داراي يك فرمول اصلاح جهت بهينه است و هيچ جستجو يا شروع مجددي براي خط ندارد. اگر تعداد شرط X^TWX را در نظر نگيريم، CG خطي بصورت O(MRF) است ( 19 ). ما ميتوانيم مراحل CG را زودتر متوقف كنيم تا راه حل WLS را تخمين بزنيم، بنابراين يك روش نيوتني مقطع ايجاد مي‌كنيم كه همراه با تضمين همگرايي است ( 17 ). CG تنها به حاصلضربهاي ماتريس بردار احتياج دارد كه محاسبه X^TWX را از بين مي‌برد و محاسبات پراكنده را ساده مي‌كند.

            خصوصيات وابسته مي‌توانند موجب مشكلاتي در تغيير مقياس شوند كه ما با استفاده از رگرسيون مرزبندي             (ridge regression) براي رگولاسيون زير مسئله‌هاي WLS به آن پرداخته‌ايم ( 3 و 18 ). براي اين كار تنها لازم است X^TWX را توسط lI برهم بزنيم. ما تركيب IRLS ، CG خطي و رگرسيون ridge را IRLS رگوله شده مقطع يا TR-IRLS مي‌ناميم.

            هنگامي IRLS را متوقف مي‌كنيم كه اختلاف نسبي انحراف |DEV_i-1 - DEV_i| / | DEV_i|   از مقدار 1 e   كمتر باشد. همين تست هم مي‌تواند با مرز 2 e   براي تعداد مراحل CG بكار رود. بعضي اوقات مراحل CG پراكنده مي‌شوند و انحراف زيادي ايجاد مي‌كنند و ما تعداد مراحل غير مفيد متوالي را توسط پارامتر پنجره CG محدود مي‌كنيم. آخرين كار ما اين است كه در الگوريتم 2 مقدار v را به  bi   بدهيم در حاليكه محاسبه را براي bi+1  انجام ميدهيم.

            در خلال يك ارزيابي بزرگ تجربي از l, e1, e2 و پنجره CG ( 7 ) ، مشاهده كرديم كه دقت محاسبه به مقادير اين پارامترها نسبتا غير حساس است. بنابراين، ما از مقادير پيش‌فرض l = 10  e1 = 1=100 ,  e2 = 1=200 ,  و پنجره CG برابر با 3 مرحله براي تمام آزمايشهاي اين مقاله استفاده مي‌كنيم.

 

            CG-MLE

            علاوه بر IRLS ، از روشهاي غير خطي ديگري نيز براي بهينه كردن احتمال رخداد LR مي‌توان استفاده نمود. CG غير خطي يكي از بهترين روشها در كار Minka  بود ( 15 ). و نيز يكي از اولين روشهاي استفاده شده براي LR كامپيوتري بود ( 14 ). ما اين تركيب را CG-MLE مي‌ناميم. براي بحث درباره جايگزيني quasi-newton در CG غير خطي مرجع ( 8 ) را ببينيد. اگر تعداد شرطهاي ماتريس ورودي را در نظر نگيريم،  CG غير خطي O(MRF) است ( 19 ). مدت زمان واقعي اجرا بستگي به عوامل زيادي از جمله فرمول تصحيح جهت، جستجوي خط و شرايط شروع مجدد دارد. CG غير خطي فرمولهاي تصحيح جهت بسياري دارد. ما در ( 7 ) چهار تا از مهمترين آنها را مقايسه كرديم، و فرمول تغيير يافته Polak-Ribiere را انتخاب كرديم. اين فرمول تصحيح Polak-Ribiere را با شروع مجدد Powel تركيب مي‌كند ( 17 ) و مي‌توان آنرا بصورت زير نوشت :

  كه در آن  با همان علامت در الگوريتم 2 نشان داده شده.

            در CG-MLE رگوله سازي اهميت دارد ( 15 و 20 ). مشابه رگرسيون Ridge ، احتمال رخداد توسط l( bT b) تحت تأثير قرار مي‌گيرد. هر مقدار معقول براي l خوب است و ما مقدار 10 را انتخاب مي‌كنيم. گزارش داده شده كه دادن  به ميانگين y موجب بهبود پايداري مي‌گردد ( 14 )، ولي ما تنها بهبود در سرعت را مشاهده كرديم. روش پنجره CG TR-IRLS  همچنين به CG-MLE نيز كمك مي‌كند. ما با استفاده از تستي مشابه TR-IRLS با اپسيلون 200 / 1 ، مراحل CG-MLE را خاتمه مي‌دهيم ( 7 ).

 

 

 

3- آزمايشات

            تمام آزمايشها  ارزيابيهاي  متقاطع  ده  برابر

امتياز بندي شده توسط مساحت زير منحني (AUC)

بصورت متريك  هستند ( 3 ).  معيار AUC  قابليت

كلاس  بنديها  را  درجه بندي  مي‌كند، كه 0/1  براي

بهترين  است  و  5/0  براي حدس زدن تصادفي. در

( 7 ) AUC را بيشتر توضيح مي‌دهيم. جمع‌بنديهاي

ما با متريكهاي ديگر مثل دقت ، recall و F1 صادق

است. تمام مقادير زمان بصورت ثانيه  واقعي  هستند

ولي  شامل  ورود  و خروج  اطلاعات يا زمان صرف

شده براي تنظيم SVM ها نمي‌شود. ما از يك سيستم

AMD Opteron 242  و  كمتـر  از 4 GB  مقدار

RAM استفاده كرديم.

            در اين مقاله كوتاه، LR را با SVM هاي خطي تنظيم شده براي هر مجموعه از داده‌ها و SVM هاي تابع مبني بر شعاع (RBF) در SVM^light  ويرايش پنج، مقايسه مي‌كنيم ( 6 ). ما بصورت خلاصه TR-IRLS را با SAS proc logistic مقايسه مي‌كنيم. در كار قبلي، Naïve Bayes   و  درختهاي تصميم C4.5 بطور مرتب امتيازي كمتر از LR داشتند ( 7 ).

            هفت مجموعه داده اين مقاله در جدول 1 خلاصه شده است. جزئيات مربوط به مجموعه داده‌هاي آناليز ارتباط citeseer  و imdb  و مجموعه داده‌هاي علوم زيستي ds2  , ds1  , ds1.100  و ds1.10 در ( 7 ) آمده‌اند. اين دو تاي آخري نمايشهاي PCA از ds1 هستند. ما همچنين از يك مجموعه كلاس بندي متن modapte.sub استفاده مي‌كنيم كه زير مجموعه‌اي است از مجموعه آموزشي چند كلاسي Reuters-21578 ModApte . ما كلاسهايي با 100 رديف مثبت يا بيشتر را در نظر گرفتيم : acq  ، قهوه ، ذرت ، نفت خام ، dlr ، درآمد ، gnp ، حبوبات ، بهره ، پول-fx ، پول- ذخيره ، دانه‌هاي روغني ، كشتي ، شكر ، تجارت ، و گندم كه با a1  تا a16 نشان داده مي‌شوند. ستون ‏‎” nonzero “  تعداد وروديهاي غير صفر را در مجموعه‌هاي داده پراكنده نشان مي‌دهد. ”Pos “ تعداد رديفهاي مثبت را نشان مي‌دهد بجز در مورد modapte.sub كه روي صفات ورودي ميانگين گرفته شده است. تمام مجموعه‌هاي داده‌ها به غير از ds1 و ds2  در دسترس عموم قرار دارد ( 9 ).

 

4- نتايج و آناليزها

            جدول 2 در بالا  AUC و نتايج زماني در علوم زيستي و مجموعه‌هاي ارتباط را نشان مي‌دهد. روشهاي LR تقريبا داراي امتيازات AUC يكساني هستند. براي از بين بردن هرگونه تمايل AUC مقابل سرعت توسط مؤلفان، ما دو مجموعه آزمايش SVM انجام داديم. در اولين مجموعه AUC از طريق تنظيمات فراوان بهينه سازي  مي‌شود، و در مجموعه دوم سرعت چنان بهينه سازي مي‌گردد كه AUC در حدود 10 درصد بهترين SVM AUC باشد. با وجود اين، هنوز هم TR-IRLS در تمام موارد سريعتر است. زمان قابل توجه صرف شده براي تنظيم SVM هاي خطي و RBF در هيچكدام از زمان گيريهاي ما منظور نشده است.

            با تنظيم ظرفيت SVM^light  و پارامتر گاما در RBF بهبود قابل توجهي در دقت حاصل شد. مقادير نهايي بكار رفته در (8) آمده است. بجز آزمايشهاي ds1.100  و  ds1.10 ، امتياز TR-IRLS مساوي و يا بهتر از ديگر كلاس بندي كننده‌ها در تمام آزمايشات بود. اين دو مجموعه داده داراي ابعاد نسبتا كمتري هستند كه احتمالا براي يك كلاس بندي خوب احتياج به شرايط مرزي غير خطي دارند، و RBF SVM ها در اين مورد از تمام كلاس بندي كننده‌هاي خطي بهتر هستند. بهر حال، TR-IRLS روي ds1 اصلي براي محاسبه يك كلاس بندي كننده بهتر نياز به زمان كمتري نسبت به RBF SVM براي ويرايشهاي كمپرس شده PCA ds1.100 و ds1.10  دارد. بر روي اين مجموعه داده‌هاي كوچك، يك ويرايش سريع از KNN براي مسائل كلاسهاي در هم پيچيده (12) قابل رقابت تر بود (8). نزديكترين رقيب TR-IRLS در دقت بر روي مجموعه داده‌هاي بزرگتر CG-MLE است. بهر حال، TR-IRLS بطور كلي سريعتر است و كاربرد و درك عميق آن ساده تر مي‌باشد. تمام كلاس بندي كننده‌ها روي modapte.sub خوب عمل كردند و LR و SVM هميشه امتياز بالاتر از 977/0 داشتند. در جدول 3 زمانهاي مربوط به 10 صفت اول آمده است. باز هم TR-IRLS سريعتر است.

 

            SVM^light عموما در مقايسه با TR-IRLS نسبت به پارامترهايش داراي حساسيت بيشتري است، ولي هسته خطي آن روي ds1.10 بطور تعجب آوري نامنظم بود. بيشترين تغييرات در AUC براي تغييرات كوچك در ظرفيت در شكل 1 نشان داده شده است. محور سمت چپ نشاندهنده AUC است ، محور افقي ظرفيت است، و دايره‌ها نقاط داده AUC هستند. محور سمت راست و خط تو پر زمان را براي هر آزمايش نشان مي‌دهند. LIBSVM (1) رفتار مشابهي را نشان داد (8).

            ما TR-IRLS را با SAS' proc logistic  مقايسه كرديم (5) ( با تشكرات ويژه از Lujie Chen, Auton Lab ) به اين دليل كه proc logistic گزينه‌اي براي داده‌هاي پراكنده ندارد، ما زيرمجموعه‌هاي متراكم بزرگي از ds1 ساختيم. TR-IRLS  در كل سه برابر سريعتر از محاسبات متراكم اجرا شد. ميزان استفاده SAS از حافظه به سرعت با افزايش تعداد ستونها افزايش يافت و آزمايشات ما را محدود كرد.

5- كارهاي مشابه

          بحث عمده در مقالات فعلي LR اين است كه چگونه بايد پارامترهاي LR را محاسبه كنيم. (8) و ارجاعات آنرا ببينيد. روشهاي پيشنهاد شده شامل انواع تغيير يافته روشهاي نيوتن، CG ، تغيير مقياس چند مرحله‌اي، و نزول مختصات چرخه‌اي   Gauss-Seidel مي‌باشد. اين روشها با مسائل عددي و فيت شدن زياد از حد مواجه هستند كه در بهينه سازي غير خطي در يادگيري ماشين رايج است. مشاهدات (15 و 20) و آناليزهاي (8) را نگاه كنيد.

 

6- جمع بنديها

          ما روش فيت كردن TR-IRLS  را ارائه نموديم و كاربرد آنرا در رگرسيون لجستيك نشان داديم. به نظر مي‌رسد اين تركيب سريعتر و حد اقل به اندازه SVM ها و ديگر روشهاي فيت كردن رگرسيون لجستيك دقيق است. از TR-IRLS  مي‌توان با هر مدل خطي تعميم يافته‌اي استفاده نمود. TR-IRLS بسيار ساده است و از روي جزئيات آمده در اين مقاله مي‌توان آنرا اجرا كرد. نرم‌افزار ، منابع، و داده‌هاي ما در http://www.autonlab.org  و http://komarix.org  در دسترس مي‌باشد.

 

منابع

 

University, October 2001.

[16] A. Moore, P. Komarek, and J. Ostlund. Activity Prediction

From Links, 2004. http://www.autonlab.org.

[17] S. G. Nash and A. Sofer. Linear and Nonlinear Programming.

McGraw-Hill, 1996.

[18] M. Orr. Introduction to Radial Basis Function Networks,

1996. http://www.anc.ed.ac.uk/ٍmjo/rbf.html.

[19] J. R. Shewchuk. An Introduction to the Conjugate Gradient

Method Without the Agonizing Pain. Technical Report CS-

94-125, Carnegie Mellon University, Pittsburgh, 1994.

[20] T. Zhang and F. J. Oles. Text Categorization Based on Regularized

Linear Classi_cation Methods. Kluwer, 2001.

[21] J. Zhu and T. Hastie. Kernel logistic regression and the import

vector machine. Journal of Computational and Graphical

Statistics, 14(1):185ٌ205, March 2005.

 

 

[1] C.-C. Chang and C.-J. Lin. LIBSVM: a library for

support vector machines, 2001. Software available at

http://www.csie.ntu.edu.tw/ٍcjlin/libsvm.

[2] J. E. Gentle. Elements of Computational Statistics. Statistics

and Computing. Springer Verlag, 2002.

[3] T. Hastie, R. Tibshirani, and J. Friedman. The Elements of

Statistical Learning. Springer Verlag, 2001.

[4] D. W. Hosmer and S. Lemeshow. Applied Logistic Regression.

Wiley, 2nd edition, 2000.

[5] http://www.sas.com/. SAS. http://www.sas.com/.

[6] T. Joachims. SVMlight, 2002. svmlight.joachims.org.

[7] P. Komarek. Logistic Regression for Data Mining and High-

Dimensional Classi_cation. Technical Report TR-O4-34,

Robotics Inst., Carnegie Mellon Univ., Pgh, PA, May 2004.

[8] P. Komarek. Making Logistic Regression A Core Data Mining

Tool: A Practical Investigation of Accuracy, Speed, and

Simplicity. Technical Report TR-O5-27, Robotics Inst.,

Carnegie Mellon Univ., Pgh, PA, May 2004.

[9] P. Komarek. Datasets, 2005. http://komarix.org/ac/ds.

[10] P. Komarek and A. Moore. Fast Robust Logistic Regression

for Large Sparse Datasets with Binary Outputs. In Arti_cial

Intelligence and Statistics, 2003.

[11] J. Kubica, A. Goldenberg, P. Komarek, A. Moore, and

J. Schneider. A Comparison of Statistical and Machine

Learning Algorithms on the Task of Link Completion. In

KDDWorkshop on Link Analysis for Detecting Complex Behavior,

page 8, August 2003.

[12] T. Liu, A. Moore, and A. Gray. Ef_cient Exact k-NN and

Nonparametric Classi_cation in High Dimensions. In Proc.

of Neural Information Processing Systems, 2003.

[13] P. McCullagh and J. A. Nelder. Generalized Linear Models,

volume 37 of Monographs on Statistics and Applied Probability.

Chapman & Hall, 2 edition, 1989.

[14] A. McIntosh. Fitting Linear Models: An Application of Conjugate

Gradient Algorithms, volume 10 of Lecture Notes in

Statistics. Springer-Verlag, New York, 1982.

[15] T. P. Minka. Algorithms for maximum-likelihood logistic

regression. Technical Report Stats 758, Carnegie Mellon

رده بندی بیزی

Bayesian Classification

Nir Friedman and Ronny Kohavi

چكيده :

در كلاس بندي Bayesian ، مسائل كلاس بندي توسط بدست آوردن ( يادگيري)‌توزيع نمونه هاي يك كلاس با مقدار معلوم حل مي كند. ما كليات پايه‌اي كلاس بندي Bayesian را مرور مي‌كنيم. جزئيات كلاس بندي كننده‌هاي دوحالته Naïve را تا حدي توضيح مي‌دهيم و برخي پيشرفتها را بصورت خلاصه مورد بحث قرار مي‌دهيم.

 

1 – مقدمه

هدف كلاس بندي اين است كه يك مورد را بر پايه مقادير متغيرهاي صفات گوناگون به يك كلاس نسبت دهد. بسياري از روشهاي كلاس بندي تلاش مي‌كنند تابع روشني از مجموعه وابسته به مقادير صفات به يك برچسب كللاس بسازند. مثلا درختهاي تصميم ، قواعد تصميم ، و شبكه‌هاي عصبي.

كلاس بندي Bayesian  روش روشي تا حدي متفاوت براي اين مسئله دارد. در اين روش توزيع احتمالاتي وابسته كلاس و صفات Pr(C1 , A1, . . . , Ak) تخمين زده مي‌شود كه C يك متغير تصادفي است كه كلاس را توضيح مي‌دهد و A1 تا Ak متغيرهاي تصادفي هستند كه صفات يا خصوصيات را توصيف مي‌كنند. بنابراين، يادگيري در كلاس بندي Bayesian يعني تخمين زدن اين توزيع احتمالات وابسته. پس از اينكه چنين تخميني را ساختيم ، مقادير را كلاس بندي مي‌كنيم و كلاسي را كه احتمال بيشتري دارد معين مي‌نماييم.

            در روش استاندارد كلاس بندي Bayesian براي تجزيه احتمالات وابسته از قاعده زنجيره‌اي استفاده مي‌شود:

Pr(C,A1, . . . , Ak) = Pr( C) Pr ( A1, . . . , Ak | C)           (1)

جمله اول در سمت راست فرمول (1) احتمال اوليه برچسبهاي كلاس است كه آنرا مي‌توان مستقيما از داده‌هاي آموزشي يا از يك جمعيت نمونه بزرگتر تخمين زد. مثلا ، مي‌توانيم آمار تعداد رخدادهاي سرطان سينه در كل جمعيت را بگيريم. جمله دوم در سمت راست (1)  توزيع مقادير صفات با توجه به برچسب كلاس داده شده است. تخمين زدن اين جمله معمولا پيچيده ‌تر است و در زير به آن مي‌پردازيم.

            وقتي كه Pr ( C )  و Pr ( A1, . . . , Ak |C) را تخمين زديم مي‌توانيم از قانون Bayes براي بدست آوردن احتمال شرطي كلاس با توجه به صفات داده شده استفاده نمود.

Pr(C|A1, . . . , Ak) = a Pr( C) Pr (A1, . . . , Ak |C)               (2)

كه در آن a يك فاكتور نرماليزه كردن است. كه باعث مي‌شود مجموع احتمال شرطي تمام برچسبهاي كلاس ممكن برابر با 1 شود. ( در عمل، نيازي نداريم كه بصورت واضح اين عامل را محاسبه كنيم زيرا براي يم مورد خاص a مقداري ثابت است ). با استفاده از (2) مي‌توانيم نمونه‌هاي جديد را توسط تركيب احتمال اوليه هر كلاس با احتمال مقادير صفات داده شده براي آن كلاس ، كلاس بندي كنيم.

 

2- خصوصيات كلاس بندي كننده‌هاي Bayesian

            در كلاس بندي Bayesian سعي بر يادگيري يك قاعده تصميم نيست. در عوض يادگيري تا حد تخمين احتمالات تخفيف مي‌يابد. در نتيجه تفاوتهايي در مقايسه با روشهاي ديگر كلاس بندي وجود دارد. در اين قسمت بطور خلاصه به اين تفاوتها مي‌پردازيم.

            يك خصوصيت پايه كه معمولا لازم است ، درستي asymptotic  است : سيستم كلاس بندي بايد بهترين كلاس بندي كننده ممكن را ياد بگيرد، به اين شرط كه ما تعداد نمونه‌هاي آموزشي كافي را صرفنظر از محدوديتهاي محاسباتي به آن بدهيم. مي‌توان نشان داد كه يم كلاس بندي كننده Bayesian بهينه است ( يعني با داشتن مجموعه به اندازه كافي بزرگي از نمونه‌هاي آموزشي به كوچكترين مقدار خطاي ممكن در كلاس بندي ميرسد) اگر روش تخمين Pr(A1, . . . , Ak | C) درست باشد، يعني به توزيع شرطي واقعي نمونه‌هاي يك فضاي نمونه به اندازه كافي بزرگ همگرا مي‌شود. بنابراين، خصوصيات همگرايي بستگي به انتخاب ما در روش تخمين زدن Pr(A1,. . . , Ak | C) دارد. توجه كنيد كه برخلاف برخي روشهاي يادگيري، در كلاس بندي Bayesian ممكن است كلاس فرضيه‌اي كه در نظر مي‌گيريم شامل يك كلاس بندي كننده بهينه باشد ولي با اين وجود ما با داشتن يك مجموعه آموزشي نا محدود هم نتوانيم به آن برسيم. اين مورد مي‌تواند در يك مدل احتمالاتي اتفاق بيافتد كه مربوط به اين قاعده كلاس بندي خاص است ولي بهترين تخمين را از توزيع احتمالاتي مورد مشاهده بدست نمي‌دهد.

            با توجه به اين موضوع اگر دانش ما از يك زمينه باعث مي‌شود باور كنيم كه يك مدل خاص ( يعني يك كلاس از فرضيه)‌براي Pr(A1, . . . , Ak | C) منجر به يك تخمين خوب از توزيع واقعي مي‌شود ، آنگاه انتظار خواهيم داشت كه كلاس بندي كننده Bayesian كارآيي خوبي داشته باشد. از طرف ديگر، اين به اين معني نيست كه يك مدل غير واقعي كه تخمين خوبي از توزيع نمي‌دهد الزاما كلاس بندي كننده بدي است. مثلا مدل بكار رفته در كلاس بندي كننده Naïve Bayesian بخش بعدي فرضيات غير واقعي را در نظر مي‌گيرد ، با وجود اين معمولا منجر به كلاس بندي كارآمدي مي‌شود. (Domingos and Pazzani , 1997 ) قواعد احتمالاتي كلاس بندي Bayesian داراي چندين مزيت نسبت به روشهاي ديگر است.

            اول ، كلاس بندي Bayesian را مي‌توان با روشهاي مربوط به توابع افت متقارن تركيب نمود. مثلا ، در مطالعه سرطان ، تشخيص اشتباه يك تومور بدخيم بسيار زيان آورتر از تشخيص اشتباه يك تومور بي خطر است، زيرا تشخيص سرطان در مراحل اوليه شانس معالجه آنرا شديدا افزايش مي‌دهد. براي روبرويي با چنين مواردي مي‌توانيم به تئوري تصميم براي ارائه روشهايي متكي باشيم كه تخمين احتمالات را با كاربرد ( يا هزينه ) تصميمات مختلف تركيب نمايند. مقالات Duda and Hart (1973)  و Bishop (1995) را ببينيد.

            دوم، روشهاي احتمالاتي براي كار با مقادير گمشده وجود دارند. تئوري احتمالات به ما امكان مي‌دهد كه توسط ميانگين گرفتن روي مقادير ممكن براي يك صفت با مقادير گمشده در كلاس بندي كار كنيم. مثلا، اگر مقدار A1  داده نشده باشد، آنگاه احتمال Pr ( A2, . . . , Ak | C )  بصورت زير است :

 

آنگاه با استفاده از قاعده Bayes مي‌توانيم احتمال شرطي Pr(C | A2, . . . , Ak) را براي كلاس بندي محاسبه نماييم. موارد مشابهي نيز براي آموزش با مقادير گمشده بايد در نظر گرفته شود. البته هزينه محاسبات نيز وجود دارد. Dempster et al. (1977)  و Gelman et al. (1995) .  يادآوري مي‌كنيم كه در اين روش فرض شده كه مقادير گمشده بصورت تصادفي هستند، يعني فرايندي كه اين مقادير در جريان آن حذف شده‌اند وابسته به مقادير واقعي گمشده نيست. (Rubin 1976) . هنگاميكه اين فرض صادق نباشد، ما يا مجبور هستيم مدلي را براي اين فرايند مخفي سازي مقادير در نظر بگيريم ( يعني احتمال اينكه مقادير گم شوند ) و يا اينكه از روشهاي ديگري استفاده نماييم.

            بالأخره ، روشهاي احتمالاتي امكان استفاده از اطلاعات اوليه و تركيب آن با اطلاعات ديگر منابع را ايجاد مي‌كنند. قواعد احتمالاتي راه روشني را براي استفاده از اطلاعات قبلي درباره زمينه و اطلاعات جمع آوري شده از ديگر منابع ( يعني داده‌هاي آموزشي ديگر ) در فرايند كلاس بندي ارائه مي‌دهد. از اين اطلاعات مي‌توان به روشهاي گوناگون استفاده نمود. براي نمونه، اطلاعات اوليه ممكن است نوع مدلي را كه براي تخمين Pr(A1, . . . , Ak | C ) بكار مي‌بريم تعيين نمايد. در تشخيص صحبت، مثلا ، صفات اندازه‌گيري شده سيگنالهاي صحبت هستند و مدل احتمالاتي يك مدل ماركوف مخفي (Rabiner , 1990) است. كه معمولا از مدلهاي Phoneme تشكيل شده است. اين مدل بسيار ساختارمند از اطلاعات قبلي ما درباره صحبت كردن بوجود آمده است. توجه كنيد كه انتخاب مدل منعكس كننده اطلاعات قبلي ما درباره فرايندي است كه مشاهدات را ايجاد كرده است. برعكس، انتخاب كللاس مدل ( يعني درختهاي تصميم يا شبكه‌هاي عصبي ) در روشهاي كلاس بندي ديگر معمول بستگي به نوع صفحه تصميمي دارد كه ما ميخواهيم يادگيري كنيم و نيز مقدار داده‌هايي كه يادگيري را مي‌توانيم با آن انجام دهيم. بر حسب زمينه كار، يكي از روشهاي فكر كردن درباره انتخاب مدل مي‌تواند بسيار طبيعي تر باشد. همچنين از اطلاعات اوليه مي‌توان به روشهاي ديگري هم استفاده نمود. مثلا از آن مي‌توان در تخمين اوليه احتمالات استفاده نمود. كه منجر به نزديك شدن تخمين به مقادير خاصي شود. اگر داده‌هاي آموزشي براي پارامتر خاصي از مدل كم باشد، آنگاه مقدار تخمين زده شده نهايي، شديدا به مقادير اوليه وابسته است و اگر داده‌هاي آموزشي اوليه به اندازه كافي موجود باشد، آنگاه تخمين نهايي معمولا نسبت به داده‌هاي اوليه حساس نيست. علاوه بر اين، قواعد احتمالاتي و ابزارهاي ارائه ( مثل شبكه‌هاي احتمالاتي Pearl 1988) اجازه تركيب يادگيري با فرضيات مدلسازي و اطلاعات درباره زمينه را به ما مي‌دهد. يعني ما بايد ابتدا قسمتي از مدل را بسازيم و سپس بقيه را از روش يادگيري بدست آوريم.

 

3- كلاس بندي كننده Naïve Bayesian

            اكنون به مسئله تخمين مقدار Pr(A1, . . . , Ak | C ) باز مي‌گرديم. اين يك مسئله تخمين چگالي است زيرا تلاش ما بر يادگيري توزيع احتمالات صفات از بين تمام نمونه‌هايي با يك برچسب خاص است. ابتدا يادآور مي‌شويم كه از شمارش براي تخمين اين احتمالات نمي‌توانيم استفاده كنيم چون بيشتر شمارشها صفر خواهد بود. براي نشان دادن اين مطلب ، فرض كنيد كه تمام صفات باينري (دو حالته ) هستند. آنگاه 2 به توان k حالت براي صفات داريم و حتي در يك مجموعه بزرگ از صفات نيز انتظار نداريم كه بيشتر اين حالات را در داده‌هاي آموزشي ببينيم.

            يك راه براي حل اين مشكل اين است كه از Naïve Bayesian Classifier استفاده كنيم (Duda and Hart , 1973 : Langley et al. , 1992) كه گاهي كلاس بندي كننده ساده Bayesian  ناميده مي‌شود (Domingos and Pazzani 1997). فرض مي‌كنيم كه با توجه به مقدار كلاس، هر صفت مستقل از ديگر صفات است. به سادگي مي‌توان گفت كه با اين فرض مي‌توانيم بنويسيم :

Pr(A1, . . . , Ak | C) = Pr( A1 | C). Pr( A2 | C)  . . . Pr(Ak | C )           (3)

اكنون مسئله تخمين آسانتر شده است زيرا بايد احتمال هر يك از صفات را تعيين كنيم كه با توجه به كلاس، از بقيه صفات مستقل است. با تركيب (2) و (3) مي‌توانيم به قاعده كلاس بندي Naïve Bayesian Classifier  برسيم :

 

Pr( C | A2, . . . , Ak ) = a Pr( C) Pr ( A1 | C) . . . pr(Ak | C )        (4)

كه در آن a يك ثابت نرمالسازي است.

            احتمالات بالا از مجموعه آموزشي تخمين زده مي‌شوند و احتمال ثانويه هر كلاس محاسبه مي‌گردد. پيشگويي براي كلاسي كه بيشترين احتمال را داشته باشد انجام مي‌گيرد.مدل در جاهايي خوب كار مي‌كند كه فرضيات استقلال شرطي تقريبا برقرار است مثل زمينه‌هاي پزشكي (Kononenko , 1993) . در سالهاي اخير مشخص شده كه اين مدل بسيار قوي است و كارآيي خوب خود را حفظ مي‌كند حتي اگر فرضيات مربوط به استقلال شرطي نيز آشكارا نقض شوند. (Domingos and Pazzani, 1997  ; Kohavi and Sommerfield , 1995  ; Friedman , 1997)

تخمين احتمالات را مي‌توان با شمارش ساده فراواني انجام داد ولي اگر تعداد شمارش شده صفات و يك كلاس مقدار صفر شود مشكل ايجاد مي‌كند زيرا انتساب احتمال صفر به يكي از جملات Pr(Ai | C ) منجر به صفر شدن تمام عبارت مي‌گردد و يكي از كلاسها كاملا حذف مي‌شود. اين مشكل مخصوصا وقتي وجود دارد كه صفت داراي مقادير زيادي هستند و توزيع آنها پراكنده است. در اين صورت به چندين كلاس ( و يا حتي تمام كلاسها ) مقدار صفر داده خواهد شد. چندين روش براي اين مشكل پيشنهاد شده است. احتمال صفر را مي‌توان با يك ثابت كوچك جايگزين نمود مثلا،  0.5/n  يا  Pr( C) / n   كه در آن n تعداد نمونه‌ها در مجموعه آموزشي است

( Clark and Niblett, 1989  ; Kohavi et al. 1997b) .  در يك روش ديگر كه از نظر تئوري قابل توجيه‌تر است، از يك تصحيح لاپلاس تعميم يافته استفاده مي‌شود.(Cestnik 1990   ; Kohavi et al. 1997a)

            با مقادير نامعلوم ( گمشده ، صفر ) معمولا به يكي از اين دو روش كار مي‌شود. در ارزيابي احتمالات PR( Ai |C) كه در آن Ai نامعلوم است، به سادگي مي‌توان آن جمله را در نظر نگرفت كه به معني كم كردن درجه اهميت آن صفت است. مشابه اين مورد در MLC++ انجام مي‌شود (Kohavi et al. 1997b)

روش ديگر اين است كه احتمال را از مقادير نامعلوم در داده‌ها تخمين بزنيم. اين روش دوم اگر مقدار گمشده داراي معني خاصي باشد، كارآيي بهتري دارد ( مثلا، اگر در مقابل درجه نظامي يك شخص فقط يك خط تيره گذاشته شود معمولا به اين معني است كه آن شخص در نظم خدمت نكرده است). يك امتياز مهم Naïve Bayes اين است كه ساختار ساده آن موجب شبيه سازيهاي بصري قابل دركي مي‌شود (Becker et al. 1997  ; Kononenko, 1993) شكل 1 مثالي از شبيه سازي بكار رفته در MineSet را نشان مي‌دهد

 (Silicon Graphics 1998  ; Brunk et al. 1997)  

چنانچه از شكل معادله (4) مي‌توان انتظار داشت، صفحه تصميم يادگيري شده توسط كلاس بندي كننده Naïve Bayes داراي شكل محدودي است. مخصوصا اگر صفات بصورت دو حالته باشند، آ“گاه به سادگي مي‌توان نشان داد كه تصميم گيري بين هر زوج از كلاسها توسط يك صفحه فرضي Hyperplane صورت مي‌گيرد. ( يك صفحه تصميم خطي هنگامي پيش مي‌آيد كه صفات بصورت چند حالته و توزيعات شرطي بصورت گاوسي باشند). اين موضوع از سالهاي 1960 پيش آمده بود، براي مثال مقاله Duda and Hart (1973) را نگاه كنيد. بهرحال توجه كنيد كه قاعده تصميم گيري يادگيري شده توسط كلاس بندي كننده Naïve Bayesian در كل با ديگر قواعدي كه از روشهاي خطي ديگر مثل Perceptron بدست مي‌آيد، همخواني ندارد.

 

 

4- روشهاي ديگر

            چندين روش ديگر از كلاس بندي Bayesian بعد از كلاس بندي كننده Naïve Bayesian وجود دارد. اين كارها به چند دسته تقسيم مي‌شوند:

            كارهاي دسته اول مانند كار Kohavi and John (1997)  , Langley and Sage (1994)  تلاش كردند تا دقت كلاس بندي را با محدود كردن توجه فقط به يك زير مجموعه از صفات بهبود بخشند. اين روش مي‌تواند خطاها را بوسيله وابستگي زياد بين صفات كاهش دهند كه اين كار با حذف يك يا چند صفت وابسته انجام مي‌شود.

            كارهاي دسته دوم ،

(Ezawa and Schuermann, 1995  ; Friedman et al. 1997  ; Kononenko, 1991  ; Pazzani 1995 , Sahami 1996)

سعي در بهبود دقت كلاس بندي توسط حذف برخي فرضيات استقلال موجود در كلاس بندي كننده Naïve Bayesian داشتند. معلوم شده كه شبكه‌هاي احتمالاتي ( گاهي به نام شبكه هاي Bayesian شناخته مي‌شوند ) زباني مفيد براي توضيح چنين استقلالهايي ارائه مي‌دهند. Friedman et al (1997) چندين روش استفاده از اين شبكه‌ها را براي كلاس بندي Bayesian مورد بحث قرار مي‌دهد. شكل 2(a) نشان مي‌دهد كه چگونه يك كلاس بندي كننده Naïve Bayesian بصورت يك شبكه احتمالاتي نشان داده مي‌شود.

 

            شكل 1 – شبيه سازي بصري Naïve Bayes در MineSet ( فصل  24.4.2 ) از اطلاعات سرشماري ايالات متحده را درباره بزرگسالان شاغل نشان مي‌دهد. صفات برحسب توان تفكيك مرتب شده‌اند. براي هر صفت پيوسته ، بازه تغييرات جداسازي شده است. براي هر مقدار ( يا بازه ) ارتفاع ستون نشاندهنده تعداد است( ليست احتمالات شرطي) . در اين مورد برچسب بكار رفته بصورت درآمد خالص روي 50،000 دلار بود. ستونهاي بلند نشان مي‌دهند كه افراد هنگامي كه يك يا چند تا از شرايط زير را دارا باشند احتمال آنكه بيش از 50 هزار دلار درآمد داشته باشند، بيشتر است : ازدواج كرده باشند، سن آنها بين 36 تا 61 سال باشد، شغل آنها مديريت اجرايي و يا متخصص حرفه‌اي باشد، داراي تحصيلات بالا باشند، بيش از 40 ساعت در هفته كار كنند و غيره .

 

            شكل 2 – توضيح دو كلاس بندي كننده Bayesian براي كلاس بندي انواع ديابت با استفاده از ارائه شبكه‌اي  : (a) كلاس بندي كننده Naïve Bayesian    (b)  يك مدل TAN يادگيري شده از داده‌ها ، خط چينها اضلاعي هستند كه در كلاس بندي كننده Naïve Bayesian بكار مي‌روند . خطهاي پر اضلاع وابستگي بين صفاتي هستند كه توسط الگوريتم Friedman et al  يادگيري شده.

 

 

 

 

 

 

 

 

 

 

 

به منظور اختصار ما بطور خلاصه يكي از اين روشها را توضيح مي‌دهيم كه در Friedman et al. 1997 به نام كلاس بندي كننده Naïve Bayesian سه افزايشي يا به اختصار TAN ناميده شده است. اين روش بر پايه ايده‌هايي است كه به Chow and Liu (1968)  برمي‌گردد. در اين روش، به جاي اينكه فرض شود هر صفت نسبت به بقيه صفات مستقل است، اجازه داده مي‌شود كه هر صفت حداكثر به يك صفت ديگر وابسته باشد. يك مثال از چنين وابستگي بصورت يك شبكه احتمالاتي در شكل 2(b) آمده است. انتخاب اين وابستگيها منجر به تجزيه متفاوتي از توزيع وابسته صفات مي‌شود. براي مثال، تجزيه مربوط به شبكه نشان داده شده در شكل 2(b) بصورت زير است :

Pr(P,A,I,D,M,G |C) = Pr(P | C) Pr(A | P,C) Pr( I | A , C) Pr(D | I,C) Pr( M | I,C)Pr(G | I,C)

 

كه در آن از حرف اول هر صفت بعنوان علامت اختصاري آن استفاده نموده‌ايم. در اين ساختار با وابستگي افزايش يافته يك ضلع از Ai به Aj نشان مي‌دهد كه تأثير گذاري بر Aiدر ارزيابي متغير كلاس به مقدار Aj نيز بستگي دارد. براي مثال، در شكل 2(b) تأثير صفت “Glucose” بر كلاس C وابسته به مقدار “Insulin” است ، در حاليكه در كلاس بندي كننده Naïve Bayesian تأثير هر صفت بر روي متغير كلاس كاملا مستقل از ديگر صفات مي‌باشد. تأثير اين اضلاع بر فرايند كلاس بندي اين است كه يك مقدار “Glucose” كه نوعا تعجب برانگيز است ( مثلا Pr( G | C ) پايين ) ممكن است اگر مقدار صفت وابسته به آن يعني Insulin نيز غير عادي باشد ( يعني Pr(G | C,I) بالا ) ديگر تعجب برانگيز نباشد. در اين شرايط، كلاس بندي كننده Naïve Bayesian احتمال متغير كلاس را با در نظر گرفتن دو حالت غير عادي مشاهده شده، مجاز نخواهد دانست در صورتيكه شبكه افزايش يافته شكل 2(b) آنرا مجاز مي‌داند.

            اكنون با اين پرسش روبرو هستيم كه چگونه بايد كمانهاي وابستگي را انتخاب كنيم. Friedman et al. 1997 روشي را توضيح مي‌دهد كه تابع تجزيه‌اي را پيدا مي‌كند كه احتمال رخداد داده‌ها را بيشينه مي‌كند. بعلاوه، اين روش خصوصيات محاسباتي جذابي دارد ، زمان اجراي آن نسبت به تعداد نمونه‌هاي آموزشي خطي ، و نسبت به تعداد صفات k نمايي و از درجه 2 است. روش TAN  تعادلي است بين پيچيدگي مدل يادگرفته شده و قابليت تعميم و هزينه‌هاي محاسباتي يادگيري مدل. زيرا فقط عكس العملهاي متقابل جفتي بصورت مستقيم مدلسازي مي‌شوند، مدل ياد گرفته شده تنها نياز به تخمينهايي از جفتهاي صفات دارد ، كه در محاسبه استوار و مفيد هستند. روشن است كه در برخي زمينه‌ها ممكن است مزيتهاي ديگري نيز براي اين روش پيدا شود.

            در كل، براي مدلهاي پيچيده‌تر يافتن ساختار بيشترين احتمال بهينه NP- سخت است و بنابراين بايد به يك جستجوي پي برنده (heuristic search)  متوسل شويم.

            در پايان، در دسته اخير روشهايي وجود دارند كه از مدلهاي مخصوص در هر زمينه استفاده مي‌كنند. براي مثال، تشخيص صحبت (Rabiner , 1990) و كلاس بندي پروتئينها (Durbin et al. 1998) از مدلهاي ماركوف مخفي مخصوص براي يادگيري توزيع صفات مشاهده شده ( فركانسهاي امواج صدا و آمينو اسيدها) استفاده مي‌كنند. روشهايي از اين دسته براي ساخت تخمينهاي چگالي به اطلاعاتي درباره ساختار خاص در آن زمينه متكي هستند.