تا حالا شده توی یه چت یا سیستم سوالوجواب آنلاین، دلت بخواد هم جواب متنی بگیری و هم یه عکس خفن که بهتر منظور رو بفهمی؟ خب این روزا خیلی روی مدلهایی کار میکنن که میتونن جوابها رو هم متنی بدن، هم تصویری؛ بهش میگن interleaved image-text generation یعنی تولید ترکیبی متن و عکس توی یه جواب. مثلاً وقتی ازشون یه سوال باز یا کلی میپرسی، همزمان هم یه توضیح متنی میدن، هم عکس یا نمودار مرتبط میسازن.
حالا این ایده خیلی جذابه، ولی پیادهسازیش هنوز یه عالمه چالش داره! چون باید مطمئن باشی که متن و تصویر هماهنگ و با کیفیت باشن، نه اینکه هر کدوم برا خودش یه سازی بزنه! تازه روشهای ارزیابی قبلی، معمولاً فقط یا متن رو میسنجیدن یا تصویر رو و نمیتونستن این ترکیب رو درست بسنجن.
اینجاست که مقاله جدیدی به اسم RAG-IGBench وارد میشه که اومده دقیقاً همین موضوع رو حل کنه. اسمش یه کم پیچیدس، ولی بذار ساده بگم: RAG یعنی Retrieval-Augmented Generation یعنی زمانی که مدل هوش مصنوعی علاوهبر دانش خودش، میره اطلاعات رو از منابع خارجی (مثل اینترنت یا دیتابیسها) هم جمع میکنه و بر اساس اون، جواب تولید میکنه. حالا RAG-IG یعنی همین کار رو برای تولید ترکیبی متن-عکس انجام میده. یعنی مثلاً وقتی یه سوال میپرسی، مدل هم متنو از منابع جمع میکنه، هم عکساشو، بعد یه جواب کامل با همون ترکیب بهت میده.
اما چطور بشه فهمید این مدلها واقعاً خوب دارن کار میکنن یا نه؟ اینجاست که RAG-IGBench (یعنی مجموعه ابزار و دیتای مخصوص برای تست و ارزیابی همین مدلها) وارد معرکه میشه.
یکی از نکات خفن این بنچمارک (benchmark یعنی معیار ارزیابی) اینه که دیتای جدیدشو از محتواهای منتشرشده تو شبکههای اجتماعی درست کرده—همش بهروز و واقعی! ضمن اینکه یه سری معیار یا متریک جدید تعریف کرده که فقط نمیگه عکس یا متن جدا چطوره، بلکه نحوهی هماهنگی و رابطهشون رو هم بررسی میکنه.
تیماشون اومدن این ابزار رو روی چندتا از مدرنترین مدلهای هوش مصنوعی چندحالته (مثلاً: multimodal large language models که یعنی مدلهایی که همزمان با متن و تصویر کار میکنن) تست کردن. چه مدلهای اوپنسورس (یعنی رایگان و قابل تغییر توسط همه)، چه مدلهای اختصاصی که شرکتها برای خودشون ساختن. نتیجهها جالب بوده: اول اینکه معیارهای تازهای که خودشون ساختن، خیلی به ارزیابی انسانها نزدیکه! یعنی وقتی یک آدم واقعی کیفیت جواب رو بررسی میکنه، تقریباً همون امتیازی که ابزار میده، آدم هم میده.
یه نکته خندهدار اینه که مدلهایی که با همین مجموعهدیتای بنچمارک RAG-IGBench تمرین دادن (بهش میگن fine-tune یعنی تنظیم دقیقتر با دیتای جدید)، واقعاً بهتر از مدلهای قبلی عمل کردن. پس این ابزار هم به درد ارزیابی میخوره، هم به درد آموزش قویتر کردن مدلهای هوش مصنوعی!
اگه اهل آزمایش و تحقیق هستی یا دوست داری دقیقتر بدونی چطوری مدلهای هوش مصنوعی نسل جدید جواب میدن، میتونی کل ابزار و دیتاست رو از گیتهابشون دانلود کنی: https://github.com/USTC-StarTeam/RAG-IGBench
خلاصه اگر میخوای مدلهای هوش مصنوعی نه فقط حرف بزنن بلکه عکس هم بسازن (اونم هماهنگ با هم!) و دقیق بدونی چی به چیه، RAG-IGBench ابزار خفنیه که شدیداً به کارت میاد!
منبع: +
