Bayesian Classification

Nir Friedman and Ronny Kohavi

چكيده :

در كلاس بندي Bayesian ، مسائل كلاس بندي توسط بدست آوردن ( يادگيري)‌توزيع نمونه هاي يك كلاس با مقدار معلوم حل مي كند. ما كليات پايه‌اي كلاس بندي Bayesian را مرور مي‌كنيم. جزئيات كلاس بندي كننده‌هاي دوحالته Naïve را تا حدي توضيح مي‌دهيم و برخي پيشرفتها را بصورت خلاصه مورد بحث قرار مي‌دهيم.

1 – مقدمه

هدف كلاس بندي اين است كه يك مورد را بر پايه مقادير متغيرهاي صفات گوناگون به يك كلاس نسبت دهد. بسياري از روشهاي كلاس بندي تلاش مي‌كنند تابع روشني از مجموعه وابسته به مقادير صفات به يك برچسب كللاس بسازند. مثلا درختهاي تصميم ، قواعد تصميم ، و شبكه‌هاي عصبي.

كلاس بندي Bayesian  روش روشي تا حدي متفاوت براي اين مسئله دارد. در اين روش توزيع احتمالاتي وابسته كلاس و صفات Pr(C1 , A1, . . . , Ak) تخمين زده مي‌شود كه C يك متغير تصادفي است كه كلاس را توضيح مي‌دهد و A1 تا Ak متغيرهاي تصادفي هستند كه صفات يا خصوصيات را توصيف مي‌كنند. بنابراين، يادگيري در كلاس بندي Bayesian يعني تخمين زدن اين توزيع احتمالات وابسته. پس از اينكه چنين تخميني را ساختيم ، مقادير را كلاس بندي مي‌كنيم و كلاسي را كه احتمال بيشتري دارد معين مي‌نماييم.

            در روش استاندارد كلاس بندي Bayesian براي تجزيه احتمالات وابسته از قاعده زنجيره‌اي استفاده مي‌شود:

Pr(C,A1, . . . , Ak) = Pr( C) Pr ( A1, . . . , Ak | C)           (1)

جمله اول در سمت راست فرمول (1) احتمال اوليه برچسبهاي كلاس است كه آنرا مي‌توان مستقيما از داده‌هاي آموزشي يا از يك جمعيت نمونه بزرگتر تخمين زد. مثلا ، مي‌توانيم آمار تعداد رخدادهاي سرطان سينه در كل جمعيت را بگيريم. جمله دوم در سمت راست (1)  توزيع مقادير صفات با توجه به برچسب كلاس داده شده است. تخمين زدن اين جمله معمولا پيچيده ‌تر است و در زير به آن مي‌پردازيم.

            وقتي كه Pr ( C )  و Pr ( A1, . . . , Ak |C) را تخمين زديم مي‌توانيم از قانون Bayes براي بدست آوردن احتمال شرطي كلاس با توجه به صفات داده شده استفاده نمود.

Pr(C|A1, . . . , Ak) = a Pr( C) Pr (A1, . . . , Ak |C)               (2)

كه در آن a يك فاكتور نرماليزه كردن است. كه باعث مي‌شود مجموع احتمال شرطي تمام برچسبهاي كلاس ممكن برابر با 1 شود. ( در عمل، نيازي نداريم كه بصورت واضح اين عامل را محاسبه كنيم زيرا براي يم مورد خاص a مقداري ثابت است ). با استفاده از (2) مي‌توانيم نمونه‌هاي جديد را توسط تركيب احتمال اوليه هر كلاس با احتمال مقادير صفات داده شده براي آن كلاس ، كلاس بندي كنيم.

2- خصوصيات كلاس بندي كننده‌هاي Bayesian

            در كلاس بندي Bayesian سعي بر يادگيري يك قاعده تصميم نيست. در عوض يادگيري تا حد تخمين احتمالات تخفيف مي‌يابد. در نتيجه تفاوتهايي در مقايسه با روشهاي ديگر كلاس بندي وجود دارد. در اين قسمت بطور خلاصه به اين تفاوتها مي‌پردازيم.

            يك خصوصيت پايه كه معمولا لازم است ، درستي asymptotic  است : سيستم كلاس بندي بايد بهترين كلاس بندي كننده ممكن را ياد بگيرد، به اين شرط كه ما تعداد نمونه‌هاي آموزشي كافي را صرفنظر از محدوديتهاي محاسباتي به آن بدهيم. مي‌توان نشان داد كه يم كلاس بندي كننده Bayesian بهينه است ( يعني با داشتن مجموعه به اندازه كافي بزرگي از نمونه‌هاي آموزشي به كوچكترين مقدار خطاي ممكن در كلاس بندي ميرسد) اگر روش تخمين Pr(A1, . . . , Ak | C) درست باشد، يعني به توزيع شرطي واقعي نمونه‌هاي يك فضاي نمونه به اندازه كافي بزرگ همگرا مي‌شود. بنابراين، خصوصيات همگرايي بستگي به انتخاب ما در روش تخمين زدن Pr(A1,. . . , Ak | C) دارد. توجه كنيد كه برخلاف برخي روشهاي يادگيري، در كلاس بندي Bayesian ممكن است كلاس فرضيه‌اي كه در نظر مي‌گيريم شامل يك كلاس بندي كننده بهينه باشد ولي با اين وجود ما با داشتن يك مجموعه آموزشي نا محدود هم نتوانيم به آن برسيم. اين مورد مي‌تواند در يك مدل احتمالاتي اتفاق بيافتد كه مربوط به اين قاعده كلاس بندي خاص است ولي بهترين تخمين را از توزيع احتمالاتي مورد مشاهده بدست نمي‌دهد.

            با توجه به اين موضوع اگر دانش ما از يك زمينه باعث مي‌شود باور كنيم كه يك مدل خاص ( يعني يك كلاس از فرضيه)‌براي Pr(A1, . . . , Ak | C) منجر به يك تخمين خوب از توزيع واقعي مي‌شود ، آنگاه انتظار خواهيم داشت كه كلاس بندي كننده Bayesian كارآيي خوبي داشته باشد. از طرف ديگر، اين به اين معني نيست كه يك مدل غير واقعي كه تخمين خوبي از توزيع نمي‌دهد الزاما كلاس بندي كننده بدي است. مثلا مدل بكار رفته در كلاس بندي كننده Naïve Bayesian بخش بعدي فرضيات غير واقعي را در نظر مي‌گيرد ، با وجود اين معمولا منجر به كلاس بندي كارآمدي مي‌شود. (Domingos and Pazzani , 1997 ) قواعد احتمالاتي كلاس بندي Bayesian داراي چندين مزيت نسبت به روشهاي ديگر است.

            اول ، كلاس بندي Bayesian را مي‌توان با روشهاي مربوط به توابع افت متقارن تركيب نمود. مثلا ، در مطالعه سرطان ، تشخيص اشتباه يك تومور بدخيم بسيار زيان آورتر از تشخيص اشتباه يك تومور بي خطر است، زيرا تشخيص سرطان در مراحل اوليه شانس معالجه آنرا شديدا افزايش مي‌دهد. براي روبرويي با چنين مواردي مي‌توانيم به تئوري تصميم براي ارائه روشهايي متكي باشيم كه تخمين احتمالات را با كاربرد ( يا هزينه ) تصميمات مختلف تركيب نمايند. مقالات Duda and Hart (1973)  و Bishop (1995) را ببينيد.

            دوم، روشهاي احتمالاتي براي كار با مقادير گمشده وجود دارند. تئوري احتمالات به ما امكان مي‌دهد كه توسط ميانگين گرفتن روي مقادير ممكن براي يك صفت با مقادير گمشده در كلاس بندي كار كنيم. مثلا، اگر مقدار A1  داده نشده باشد، آنگاه احتمال Pr ( A2, . . . , Ak | C )  بصورت زير است :

آنگاه با استفاده از قاعده Bayes مي‌توانيم احتمال شرطي Pr(C | A2, . . . , Ak) را براي كلاس بندي محاسبه نماييم. موارد مشابهي نيز براي آموزش با مقادير گمشده بايد در نظر گرفته شود. البته هزينه محاسبات نيز وجود دارد. Dempster et al. (1977)  و Gelman et al. (1995) .  يادآوري مي‌كنيم كه در اين روش فرض شده كه مقادير گمشده بصورت تصادفي هستند، يعني فرايندي كه اين مقادير در جريان آن حذف شده‌اند وابسته به مقادير واقعي گمشده نيست. (Rubin 1976) . هنگاميكه اين فرض صادق نباشد، ما يا مجبور هستيم مدلي را براي اين فرايند مخفي سازي مقادير در نظر بگيريم ( يعني احتمال اينكه مقادير گم شوند ) و يا اينكه از روشهاي ديگري استفاده نماييم.

            بالأخره ، روشهاي احتمالاتي امكان استفاده از اطلاعات اوليه و تركيب آن با اطلاعات ديگر منابع را ايجاد مي‌كنند. قواعد احتمالاتي راه روشني را براي استفاده از اطلاعات قبلي درباره زمينه و اطلاعات جمع آوري شده از ديگر منابع ( يعني داده‌هاي آموزشي ديگر ) در فرايند كلاس بندي ارائه مي‌دهد. از اين اطلاعات مي‌توان به روشهاي گوناگون استفاده نمود. براي نمونه، اطلاعات اوليه ممكن است نوع مدلي را كه براي تخمين Pr(A1, . . . , Ak | C ) بكار مي‌بريم تعيين نمايد. در تشخيص صحبت، مثلا ، صفات اندازه‌گيري شده سيگنالهاي صحبت هستند و مدل احتمالاتي يك مدل ماركوف مخفي (Rabiner , 1990) است. كه معمولا از مدلهاي Phoneme تشكيل شده است. اين مدل بسيار ساختارمند از اطلاعات قبلي ما درباره صحبت كردن بوجود آمده است. توجه كنيد كه انتخاب مدل منعكس كننده اطلاعات قبلي ما درباره فرايندي است كه مشاهدات را ايجاد كرده است. برعكس، انتخاب كللاس مدل ( يعني درختهاي تصميم يا شبكه‌هاي عصبي ) در روشهاي كلاس بندي ديگر معمول بستگي به نوع صفحه تصميمي دارد كه ما ميخواهيم يادگيري كنيم و نيز مقدار داده‌هايي كه يادگيري را مي‌توانيم با آن انجام دهيم. بر حسب زمينه كار، يكي از روشهاي فكر كردن درباره انتخاب مدل مي‌تواند بسيار طبيعي تر باشد. همچنين از اطلاعات اوليه مي‌توان به روشهاي ديگري هم استفاده نمود. مثلا از آن مي‌توان در تخمين اوليه احتمالات استفاده نمود. كه منجر به نزديك شدن تخمين به مقادير خاصي شود. اگر داده‌هاي آموزشي براي پارامتر خاصي از مدل كم باشد، آنگاه مقدار تخمين زده شده نهايي، شديدا به مقادير اوليه وابسته است و اگر داده‌هاي آموزشي اوليه به اندازه كافي موجود باشد، آنگاه تخمين نهايي معمولا نسبت به داده‌هاي اوليه حساس نيست. علاوه بر اين، قواعد احتمالاتي و ابزارهاي ارائه ( مثل شبكه‌هاي احتمالاتي Pearl 1988) اجازه تركيب يادگيري با فرضيات مدلسازي و اطلاعات درباره زمينه را به ما مي‌دهد. يعني ما بايد ابتدا قسمتي از مدل را بسازيم و سپس بقيه را از روش يادگيري بدست آوريم.

3- كلاس بندي كننده Naïve Bayesian

            اكنون به مسئله تخمين مقدار Pr(A1, . . . , Ak | C ) باز مي‌گرديم. اين يك مسئله تخمين چگالي است زيرا تلاش ما بر يادگيري توزيع احتمالات صفات از بين تمام نمونه‌هايي با يك برچسب خاص است. ابتدا يادآور مي‌شويم كه از شمارش براي تخمين اين احتمالات نمي‌توانيم استفاده كنيم چون بيشتر شمارشها صفر خواهد بود. براي نشان دادن اين مطلب ، فرض كنيد كه تمام صفات باينري (دو حالته ) هستند. آنگاه 2 به توان k حالت براي صفات داريم و حتي در يك مجموعه بزرگ از صفات نيز انتظار نداريم كه بيشتر اين حالات را در داده‌هاي آموزشي ببينيم.

            يك راه براي حل اين مشكل اين است كه از Naïve Bayesian Classifier استفاده كنيم (Duda and Hart , 1973 : Langley et al. , 1992) كه گاهي كلاس بندي كننده ساده Bayesian  ناميده مي‌شود (Domingos and Pazzani 1997). فرض مي‌كنيم كه با توجه به مقدار كلاس، هر صفت مستقل از ديگر صفات است. به سادگي مي‌توان گفت كه با اين فرض مي‌توانيم بنويسيم :

Pr(A1, . . . , Ak | C) = Pr( A1 | C). Pr( A2 | C)  . . . Pr(Ak | C )           (3)

اكنون مسئله تخمين آسانتر شده است زيرا بايد احتمال هر يك از صفات را تعيين كنيم كه با توجه به كلاس، از بقيه صفات مستقل است. با تركيب (2) و (3) مي‌توانيم به قاعده كلاس بندي Naïve Bayesian Classifier  برسيم :

Pr( C | A2, . . . , Ak ) = a Pr( C) Pr ( A1 | C) . . . pr(Ak | C )        (4)

كه در آن a يك ثابت نرمالسازي است.

            احتمالات بالا از مجموعه آموزشي تخمين زده مي‌شوند و احتمال ثانويه هر كلاس محاسبه مي‌گردد. پيشگويي براي كلاسي كه بيشترين احتمال را داشته باشد انجام مي‌گيرد.مدل در جاهايي خوب كار مي‌كند كه فرضيات استقلال شرطي تقريبا برقرار است مثل زمينه‌هاي پزشكي (Kononenko , 1993) . در سالهاي اخير مشخص شده كه اين مدل بسيار قوي است و كارآيي خوب خود را حفظ مي‌كند حتي اگر فرضيات مربوط به استقلال شرطي نيز آشكارا نقض شوند. (Domingos and Pazzani, 1997  ; Kohavi and Sommerfield , 1995  ; Friedman , 1997)

تخمين احتمالات را مي‌توان با شمارش ساده فراواني انجام داد ولي اگر تعداد شمارش شده صفات و يك كلاس مقدار صفر شود مشكل ايجاد مي‌كند زيرا انتساب احتمال صفر به يكي از جملات Pr(Ai | C ) منجر به صفر شدن تمام عبارت مي‌گردد و يكي از كلاسها كاملا حذف مي‌شود. اين مشكل مخصوصا وقتي وجود دارد كه صفت داراي مقادير زيادي هستند و توزيع آنها پراكنده است. در اين صورت به چندين كلاس ( و يا حتي تمام كلاسها ) مقدار صفر داده خواهد شد. چندين روش براي اين مشكل پيشنهاد شده است. احتمال صفر را مي‌توان با يك ثابت كوچك جايگزين نمود مثلا،  0.5/n  يا  Pr( C) / n   كه در آن n تعداد نمونه‌ها در مجموعه آموزشي است

( Clark and Niblett, 1989  ; Kohavi et al. 1997b) .  در يك روش ديگر كه از نظر تئوري قابل توجيه‌تر است، از يك تصحيح لاپلاس تعميم يافته استفاده مي‌شود.(Cestnik 1990   ; Kohavi et al. 1997a)

            با مقادير نامعلوم ( گمشده ، صفر ) معمولا به يكي از اين دو روش كار مي‌شود. در ارزيابي احتمالات PR( Ai |C) كه در آن Ai نامعلوم است، به سادگي مي‌توان آن جمله را در نظر نگرفت كه به معني كم كردن درجه اهميت آن صفت است. مشابه اين مورد در MLC++ انجام مي‌شود (Kohavi et al. 1997b)

روش ديگر اين است كه احتمال را از مقادير نامعلوم در داده‌ها تخمين بزنيم. اين روش دوم اگر مقدار گمشده داراي معني خاصي باشد، كارآيي بهتري دارد ( مثلا، اگر در مقابل درجه نظامي يك شخص فقط يك خط تيره گذاشته شود معمولا به اين معني است كه آن شخص در نظم خدمت نكرده است). يك امتياز مهم Naïve Bayes اين است كه ساختار ساده آن موجب شبيه سازيهاي بصري قابل دركي مي‌شود (Becker et al. 1997  ; Kononenko, 1993) شكل 1 مثالي از شبيه سازي بكار رفته در MineSet را نشان مي‌دهد

 (Silicon Graphics 1998  ; Brunk et al. 1997)  

چنانچه از شكل معادله (4) مي‌توان انتظار داشت، صفحه تصميم يادگيري شده توسط كلاس بندي كننده Naïve Bayes داراي شكل محدودي است. مخصوصا اگر صفات بصورت دو حالته باشند، آ“گاه به سادگي مي‌توان نشان داد كه تصميم گيري بين هر زوج از كلاسها توسط يك صفحه فرضي Hyperplane صورت مي‌گيرد. ( يك صفحه تصميم خطي هنگامي پيش مي‌آيد كه صفات بصورت چند حالته و توزيعات شرطي بصورت گاوسي باشند). اين موضوع از سالهاي 1960 پيش آمده بود، براي مثال مقاله Duda and Hart (1973) را نگاه كنيد. بهرحال توجه كنيد كه قاعده تصميم گيري يادگيري شده توسط كلاس بندي كننده Naïve Bayesian در كل با ديگر قواعدي كه از روشهاي خطي ديگر مثل Perceptron بدست مي‌آيد، همخواني ندارد.

4- روشهاي ديگر

            چندين روش ديگر از كلاس بندي Bayesian بعد از كلاس بندي كننده Naïve Bayesian وجود دارد. اين كارها به چند دسته تقسيم مي‌شوند:

            كارهاي دسته اول مانند كار Kohavi and John (1997)  , Langley and Sage (1994)  تلاش كردند تا دقت كلاس بندي را با محدود كردن توجه فقط به يك زير مجموعه از صفات بهبود بخشند. اين روش مي‌تواند خطاها را بوسيله وابستگي زياد بين صفات كاهش دهند كه اين كار با حذف يك يا چند صفت وابسته انجام مي‌شود.

            كارهاي دسته دوم ،

(Ezawa and Schuermann, 1995  ; Friedman et al. 1997  ; Kononenko, 1991  ; Pazzani 1995 , Sahami 1996)

سعي در بهبود دقت كلاس بندي توسط حذف برخي فرضيات استقلال موجود در كلاس بندي كننده Naïve Bayesian داشتند. معلوم شده كه شبكه‌هاي احتمالاتي ( گاهي به نام شبكه هاي Bayesian شناخته مي‌شوند ) زباني مفيد براي توضيح چنين استقلالهايي ارائه مي‌دهند. Friedman et al (1997) چندين روش استفاده از اين شبكه‌ها را براي كلاس بندي Bayesian مورد بحث قرار مي‌دهد. شكل 2(a) نشان مي‌دهد كه چگونه يك كلاس بندي كننده Naïve Bayesian بصورت يك شبكه احتمالاتي نشان داده مي‌شود.

            شكل 1 – شبيه سازي بصري Naïve Bayes در MineSet ( فصل  24.4.2 ) از اطلاعات سرشماري ايالات متحده را درباره بزرگسالان شاغل نشان مي‌دهد. صفات برحسب توان تفكيك مرتب شده‌اند. براي هر صفت پيوسته ، بازه تغييرات جداسازي شده است. براي هر مقدار ( يا بازه ) ارتفاع ستون نشاندهنده تعداد است( ليست احتمالات شرطي) . در اين مورد برچسب بكار رفته بصورت درآمد خالص روي 50،000 دلار بود. ستونهاي بلند نشان مي‌دهند كه افراد هنگامي كه يك يا چند تا از شرايط زير را دارا باشند احتمال آنكه بيش از 50 هزار دلار درآمد داشته باشند، بيشتر است : ازدواج كرده باشند، سن آنها بين 36 تا 61 سال باشد، شغل آنها مديريت اجرايي و يا متخصص حرفه‌اي باشد، داراي تحصيلات بالا باشند، بيش از 40 ساعت در هفته كار كنند و غيره .

            شكل 2 – توضيح دو كلاس بندي كننده Bayesian براي كلاس بندي انواع ديابت با استفاده از ارائه شبكه‌اي  : (a) كلاس بندي كننده Naïve Bayesian    (b)  يك مدل TAN يادگيري شده از داده‌ها ، خط چينها اضلاعي هستند كه در كلاس بندي كننده Naïve Bayesian بكار مي‌روند . خطهاي پر اضلاع وابستگي بين صفاتي هستند كه توسط الگوريتم Friedman et al  يادگيري شده.

به منظور اختصار ما بطور خلاصه يكي از اين روشها را توضيح مي‌دهيم كه در Friedman et al. 1997 به نام كلاس بندي كننده Naïve Bayesian سه افزايشي يا به اختصار TAN ناميده شده است. اين روش بر پايه ايده‌هايي است كه به Chow and Liu (1968)  برمي‌گردد. در اين روش، به جاي اينكه فرض شود هر صفت نسبت به بقيه صفات مستقل است، اجازه داده مي‌شود كه هر صفت حداكثر به يك صفت ديگر وابسته باشد. يك مثال از چنين وابستگي بصورت يك شبكه احتمالاتي در شكل 2(b) آمده است. انتخاب اين وابستگيها منجر به تجزيه متفاوتي از توزيع وابسته صفات مي‌شود. براي مثال، تجزيه مربوط به شبكه نشان داده شده در شكل 2(b) بصورت زير است :

Pr(P,A,I,D,M,G |C) = Pr(P | C) Pr(A | P,C) Pr( I | A , C) Pr(D | I,C) Pr( M | I,C)Pr(G | I,C)

كه در آن از حرف اول هر صفت بعنوان علامت اختصاري آن استفاده نموده‌ايم. در اين ساختار با وابستگي افزايش يافته يك ضلع از Ai به Aj نشان مي‌دهد كه تأثير گذاري بر Aiدر ارزيابي متغير كلاس به مقدار Aj نيز بستگي دارد. براي مثال، در شكل 2(b) تأثير صفت “Glucose” بر كلاس C وابسته به مقدار “Insulin” است ، در حاليكه در كلاس بندي كننده Naïve Bayesian تأثير هر صفت بر روي متغير كلاس كاملا مستقل از ديگر صفات مي‌باشد. تأثير اين اضلاع بر فرايند كلاس بندي اين است كه يك مقدار “Glucose” كه نوعا تعجب برانگيز است ( مثلا Pr( G | C ) پايين ) ممكن است اگر مقدار صفت وابسته به آن يعني Insulin نيز غير عادي باشد ( يعني Pr(G | C,I) بالا ) ديگر تعجب برانگيز نباشد. در اين شرايط، كلاس بندي كننده Naïve Bayesian احتمال متغير كلاس را با در نظر گرفتن دو حالت غير عادي مشاهده شده، مجاز نخواهد دانست در صورتيكه شبكه افزايش يافته شكل 2(b) آنرا مجاز مي‌داند.

            اكنون با اين پرسش روبرو هستيم كه چگونه بايد كمانهاي وابستگي را انتخاب كنيم. Friedman et al. 1997 روشي را توضيح مي‌دهد كه تابع تجزيه‌اي را پيدا مي‌كند كه احتمال رخداد داده‌ها را بيشينه مي‌كند. بعلاوه، اين روش خصوصيات محاسباتي جذابي دارد ، زمان اجراي آن نسبت به تعداد نمونه‌هاي آموزشي خطي ، و نسبت به تعداد صفات k نمايي و از درجه 2 است. روش TAN  تعادلي است بين پيچيدگي مدل يادگرفته شده و قابليت تعميم و هزينه‌هاي محاسباتي يادگيري مدل. زيرا فقط عكس العملهاي متقابل جفتي بصورت مستقيم مدلسازي مي‌شوند، مدل ياد گرفته شده تنها نياز به تخمينهايي از جفتهاي صفات دارد ، كه در محاسبه استوار و مفيد هستند. روشن است كه در برخي زمينه‌ها ممكن است مزيتهاي ديگري نيز براي اين روش پيدا شود.

            در كل، براي مدلهاي پيچيده‌تر يافتن ساختار بيشترين احتمال بهينه NP- سخت است و بنابراين بايد به يك جستجوي پي برنده (heuristic search)  متوسل شويم.

            در پايان، در دسته اخير روشهايي وجود دارند كه از مدلهاي مخصوص در هر زمينه استفاده مي‌كنند. براي مثال، تشخيص صحبت (Rabiner , 1990) و كلاس بندي پروتئينها (Durbin et al. 1998) از مدلهاي ماركوف مخفي مخصوص براي يادگيري توزيع صفات مشاهده شده ( فركانسهاي امواج صدا و آمينو اسيدها) استفاده مي‌كنند. روشهايي از اين دسته براي ساخت تخمينهاي چگالي به اطلاعاتي درباره ساختار خاص در آن زمينه متكي هستند.