خب بچه‌ها، امروز قراره درباره یه موضوع جذاب به اسم WMT25 صحبت کنیم؛ همون رقابت معروفی که توش ماشین‌های ترجمه با هم مسابقه میدن! داستان چیه؟ تو این مقاله، نتایج اولیه رتبه‌بندی سیستم‌های ترجمه ماشینی عمومی (General Machine Translation) ارائه شده که تو مسابقه WMT25 شرکت کردن.
واسه این رتبه‌بندی، فعلاً اومدن سیستم‌ها رو با استفاده از یه سری معیار خودکار یا همون automatic metrics ارزیابی کردن. مثلاً این معیارها الگوریتم‌هایی هستن که خودشون بدون نیاز به آدم، کیفیت ترجمه رو می‌سنجن. اما یه نکته مهم این وسط هست: چون این ارزیابی ماشینیه، ممکنه یه جورایی به نفع اون سیستم‌هایی بشه که تکنیک‌های خاصی مثل re-ranking استفاده کردن. یعنی چی؟ re-ranking یعنی بعد از اینکه ماشین چند تا ترجمه مختلف پیشنهاد داد، خودش یه بار دیگه بررسی می‌کنه و به نظر خودش بهترین رو انتخاب می‌کنه.
یکی از تکنیک‌های پرکاربرد تو این حوزه Quality Estimation re-ranking هست؛ یعنی خود سیستم سعی می‌کنه بدون نیاز به مقایسه با ترجمه انسانی، بفهمه کدوم ترجمه به احتمال زیاد کیفیتش بهتره. یه تکنیک دیگه هم هست به اسم Minimum Bayes Risk decoding که تو حالت ساده یعنی سیستم طوری انتخاب می‌کنه که احتمال کمترین اشتباه رو داشته باشه!
حالا یه نکته مهم رو یادتون بمونه: این رتبه‌بندی فعلاً موقته! قراره تو مرحله بعد، کلی داور انسانی بیاد و کیفیت ترجمه‌ها رو بررسی کنه. چون خب، هیچ ماشینی اندازه یه آدم واقعی نمی‌تونه بفهمه یه جمله چقدر روون، طبیعی و دقیق ترجمه شده. برای همین نتیجه نهایی مسابقه بر اساس ارزیابی انسانیه، نه این نمودارهای خودکار فعلی.
هدف این گزارش فعلی هم بیشتر اینه که شرکت‌کننده‌ها یه دیدی پیدا کنن از وضعیت خودشون تا بتونن مقاله یا گزارش کارشون رو بهتر آماده کنن. نتیجه نهایی که قراره حسابی معتبر باشه و برنده‌ها رو تعیین کنه، بعداً و با نظر آدما اعلام میشه.
خلاصه که اگه سیستم موردعلاقتون تو این مرحله اول بالا نیومد، نگران نباشید! شاید تو ارزیابی نهایی همه چی عوض شد. همیشه آخر کار داوران انسان هستن که نظر قطعی رو میدن و همه‌چی به قضاوت درست و باحال اونا بستگی داره!
منبع: +
