مبادئ عامة

[مقدمة في الذكاء الاصطناعي] 12- تكرار المفردات ومعكوس تكرر المستند

إن استخدام معيار تكرار الكلمات البسيط هو طريقة فعالة وجيدة لكي نحلل محتويات مستند نصي واحد , ولكن عندما يأتي الأمر للتعامل مع كمية هائلة من النصوص موزعة على عدة مستندات , فنلجئ لتقنيات شبيهة لتقنية تكرار الكلمات ولكن موسعة أكثر للتعامل مع المستندات العديدة .

وطريقة التعامل هذه هي عبارة عن دمج لمعيارين لقياس تكرار الكلمات

المعيار الأول يدعى : تكرار المفردات Terms Frequency

والمعيار الثاني يدعى : معكوس(مقلوب) تكرر المستند Inverse Document Frequency

لنبدأ بالمعيار الأول , وهو ببساطة التكرار النسبي لمفردة داخل مستند, أي عدد التكرارات/عدد المفردات

مثلاً في الاقتباس التالي لشيكسبير :

That which we call a rose by any other name would smell as sweet.

والاقتباس الثاني :

Good night sweet prince.

والاقتباس الثالث :

Parting is such sweet sorrow.

نلاحظ أنه في الاقتباس الأول تظهر كلمة sweet مرة واحدة , وأن مجموع المفردات هو 14 (1/14)=0.07

وأن كلمة rose أيضاً تظهر مرة واحدة من أصل 14 مفردة (1/14)=0.07

ولذلك قد يبدو أنهم مهمين بشكل متساوٍ
وكذلك الأمر في كلمة sweet في الاقتباس الثاني وأيضاً كلمة prince

والان لنأخذ نظرة على المعيار الثاني وهو معكوس تكرر في المستند
وهذا المعيار يقيس نسبة عدد المستندات التي تظهر فيها الكلمات المتكررة
ويتم حسابه من خلال لوغاريتم إجمالي عدد المستندات مقسمة على عدد المستندات التي تحوي المفردة .

مثلاً كلمة rose تظهر فقط في الاقتباس الأول ولذلك يمكننا حساب أهميتها في المستند الذي توجد فيه فقط log(1/3) = 0.48

ولكن مثلاً كلمة sweet تظهر في الاقتباسات (المستندات) الثلاثة جميعها وبذلك يتم تخفيض أهميتها في المستند الواحد إلى صفر , log(3/3) = 0

وبشكل مشابه لباقي الاقتباسات , كلمتي prince و sorrow لاتظهر في عدة اقتباسات ولذلك يسجلان قيمة IDF (Inverse Document Frequency) أعلى, وبالتالي أهميتهما بالنسبة للاقتباسات أعلى

وأخيراً ندمج هذان المعياران عن طريق ضربهما لنأتي بالنتيجة النهائية لكل كلمة

 

 

وبذلك نكون قد عالجنا وحللنا تكرار المفردات على مستوى عدة مستندات مختلفة عن بعضها , واستنتجنا أهمية كل مفردة داخل المستند الذي تقع فيه .

وبالتأكيد سيكون هنالك شروحات مستقبلية أوسع لتوضيح الفكرة .

 

 

 

  – فراس معن

اترك تعليقاً