خوشهبندی خبر: چطور khapi اخبار مشابه را گروهبندی میکند
khapi با نرمالسازی عنوان و سنجش شباهت واژهها، خبرهای نزدیک را در یک بازه زمانی گروهبندی میکند تا تکرار کمتر و پوشش چندمنبعی روشنتر شود.
مسئله خبرهای تکراری
یک رویداد ممکن است در چند خبرگزاری با عنوانهای کمی متفاوت منتشر شود. اگر هر نسخه بهعنوان یک رخداد مستقل شمرده شود، حجم پوشش بیش از مقدار واقعی دیده میشود و گزارش مدیریتی پر از تیترهای مشابه خواهد شد.
خوشهبندی کمک میکند چند روایت نزدیک از یک رویداد در یک گروه قرار بگیرند، بدون اینکه منبع اصلی خبرها حذف شود.
نرمالسازی عنوان
khapi پیش از مقایسه، عنوان خبر را یکدست میکند:
- ارقام فارسی و عربی به قالب مشترک تبدیل میشوند.
- شکلهای متفاوت «ی» و «ک» یکسان میشوند.
- نیمفاصله و فاصلههای اضافی اصلاح میشوند.
- نشانهگذاری حذف میشود.
- تعدادی از واژههای بسیار عمومی کنار گذاشته میشوند.
برای نمونه، دو عنوان زیر پس از نرمالسازی واژههای مشترک زیادی خواهند داشت:
قیمت جدید خودرو امروز اعلام شد
اعلام قیمت تازه خودرو در بازار امروز
سنجش شباهت
نسخه فعلی سیستم از شباهت Jaccard روی مجموعه واژههای عنوان استفاده میکند. این معیار اندازه اشتراک دو مجموعه را بر اندازه اجتماع آنها تقسیم میکند.
similarity = common_words / all_unique_words
khapi خوشههای نزدیک در یک پنجره زمانی ششساعته را بررسی میکند. اگر بهترین امتیاز شباهت حداقل ۰٫۷۲ باشد، خبر جدید به همان خوشه اضافه میشود؛ در غیر این صورت یک خوشه تازه ساخته میشود.
خبر مرجع و اعضای خوشه
هر خوشه یک خبر مرجع، عنوان اصلی، زمان اولین و آخرین مشاهده و تعداد اعضا دارد. هر عضو نیز با شناسه خبر و امتیاز شباهت به خوشه متصل میشود.
این ساختار اجازه میدهد:
- تعداد رویدادها از تعداد بازنشرها جدا شود.
- منابع پوششدهنده یک موضوع مشخص شوند.
- خبر مرجع برای نمایش انتخاب شود.
- رشد سریع پوشش یک رخداد قابل مشاهده باشد.
محدودیتهای روش
شباهت عنوان همیشه به معنای یکسانبودن رویداد نیست. دو خبر ممکن است واژههای مشترک زیادی داشته باشند ولی درباره زمان یا سازمان متفاوتی باشند. از طرف دیگر، دو تیتر کاملاً متفاوت ممکن است به یک رخداد اشاره کنند.
برای کاهش خطا باید امتیاز شباهت، فاصله زمانی و بررسی نمونههای واقعی بهصورت دورهای ارزیابی شود. در سناریوهای حساس میتوان متن کامل، موجودیتها یا بردارهای معنایی را نیز به فرایند افزود.
کاربرد در گزارش
در گزارش روزانه بهتر است تعداد «رخداد» و تعداد «خبر» جدا نمایش داده شود. یک خوشه با ده عضو نشان میدهد یک موضوع پوشش گسترده گرفته است، نه اینکه ده اتفاق مستقل رخ داده باشد.
جمعبندی
خوشهبندی khapi یک لایه عملی برای کنترل تکرار است. این قابلیت به تحلیلگر کمک میکند تصویر فشردهتری از فضای خبر ببیند و در عین حال مسیر دسترسی به تمام منابع پوششدهنده حفظ شود.
این مطلب چطور به کار شما بیاید؟
مفاهیم این مقاله را مستقیم در پنل khapi امتحان کنید:
آماده شروع هستید؟
۳ روز استفادهٔ رایگان از پنل تحلیلگر، مطابق محدودیتهای دورهٔ آزمایشی و بدون نیاز به کارت بانکی.