کیفیت جستوجوی خبر را چگونه بسنجیم؟ دقت و بازیابی با مثال
دقت میپرسد چه سهمی از نتایج بازیابیشده مرتبط هستند. بازیابی میپرسد چه سهمی از موارد مرتبط پیدا شدهاند. این دو عدد یک مسئله را از دو زاویه میبینند.
دو سؤال درباره کیفیت
دقت میپرسد چه سهمی از نتایج بازیابیشده مرتبط هستند. بازیابی میپرسد چه سهمی از موارد مرتبط پیدا شدهاند. این دو عدد یک مسئله را از دو زاویه میبینند. فهرست کوتاه و تمیز ممکن است خبرهای مهمی را جا بیندازد. فهرست بلند هم شاید وقت کارشناس را با نویز بگیرد.
تعریف ارتباط
پیش از ارزیابی، معنای خبر مرتبط را بنویسید. نام برند بهتنهایی ممکن است برای هدف شما کافی نباشد. موضوع، زمان و نقش برند را در تعریف لحاظ کنید. چند نمونه مرزی را با توضیح تصمیم نگه دارید. معیار مبهم، اعداد دقیقنما اما غیرقابل تکرار تولید میکند.
ساخت مجموعه مرجع
مجموعهای محدود از خبرهای مرتبط و نامرتبط آماده کنید. منابع و بازه زمانی این مجموعه را ثبت کنید. فقط نتایج یک جستوجو را مرجع کامل فرض نکنید. از مرور مستقل یا عبارتهای جایگزین برای یافتن موارد جاافتاده کمک بگیرید. مجموعه مرجع نمونه است، نه نماینده قطعی تمام اینترنت.
مثال محاسبه دقت
فرض کنید جستوجو بیست نتیجه برگردانده است. پس از بررسی، پانزده نتیجه واقعاً مرتبط هستند. پانزده تقسیم بر بیست، دقت هفتاد و پنج درصد میدهد. این اعداد صرفاً برای آموزش روش محاسبه هستند. پنج نتیجه اضافی را با علت خطا دستهبندی کنید.
مثال محاسبه بازیابی
فرض کنید مجموعه مرجع سی خبر مرتبط دارد. همان جستوجو پانزده مورد از آنها را پیدا کرده است. بازیابی در این مجموعه، پنجاه درصد خواهد بود. بدون دانستن موارد مرتبطِ مرجع، این محاسبه ممکن نیست. از نسبت نتایج مفید، بهاشتباه بازیابی کل وب نسازید.

معامله میان دو معیار
محدود کردن عبارت ممکن است دقت را افزایش دهد. همزمان احتمال دارد خبرهای مرتبط بیشتری کنار بمانند. برای پایش حساس، جاافتادن خبر شاید هزینه بیشتری داشته باشد. برای خبرنامه عمومی، حجم نویز ممکن است مسئله اصلی باشد. وزن این دو خطا را با مصرفکننده گزارش تعیین کنید.
بازبینی دو نفره
بخشی از نمونه را دو ارزیاب مستقل برچسب بزنند. اختلافها را پیش از دیدن امتیاز نهایی بررسی کنید. اگر اختلاف زیاد است، تعریف ارتباط احتمالاً نیاز به اصلاح دارد. توافق را با حل اجباری همه اختلافها مصنوعی بالا نبرید. نمونههای دشوار باید در راهنمای ارزیابی باقی بمانند.
مقایسه نسخههای جستوجو
هر بار فقط یک تغییر مهم در عبارت بدهید. نسخهها را روی مجموعه یکسان مقایسه کنید. نتیجه بهتر روی نمونه تمرینی را قطعی تلقی نکنید. بخشی از خبرها را برای ارزیابی نهایی کنار بگذارید. این کار خطر تنظیم بیشازحد روی مثالهای شناختهشده را کاهش میدهد.
گزارش نتیجه آزمون
تعداد نمونه، بازه و قواعد برچسبگذاری را بنویسید. دقت و بازیابی را همراه تعداد خطاها ارائه کنید. از درصد بدون مخرج یا حجم نمونه پرهیز کنید. محدودیت پوشش مرجع را کنار نتیجه توضیح دهید. گزارش باید نشان دهد کدام خطا در نسخه بعد اصلاح میشود.
آزمون جستوجوی khapi
یک موضوع واقعی را در پنل khapi انتخاب کنید. نتایج و خبرهای مرجع را در قالب ارزیابی ثبت کنید. عبارت را براساس خطاهای مشاهدهشده اصلاح کنید. در استفاده API، رفتار جستوجو را مستقل از پنل بسنجید. کیفیت برای همان پرسش اندازهگیری میشود، نه برای کل پلتفرم.
منابع و ادامه مطالعه
- روش این مقاله یک پیشنهاد اجرایی تألیفی است؛ استاندارد اجباری یا نتیجه پژوهش تجربی ادعا نمیشود.
- مطالعه مرتبط: پنل جستوجو khapi: قابلیتها و کاربرد
- بررسی ثبتنام و پنل khapi
این مطلب چطور به کار شما بیاید؟
مفاهیم این مقاله را مستقیم در پنل khapi امتحان کنید:
آماده شروع هستید؟
۳ روز استفادهٔ رایگان از پنل تحلیلگر، مطابق محدودیتهای دورهٔ آزمایشی و بدون نیاز به کارت بانکی.