این روزها مدلهای زبانی بزرگ یا همون LLMها (یعنی هوش مصنوعیهایی که میتونن کلی متن باحال تولید کنن مثل ChatGPT و همتایاش)، حسابی بین محققها محبوب شدن. فاز جدیدشون هم اینه که نقش دستیار پژوهشی رو بازی کنن. ولی یه سوال مهم همیشه تو ذهن هست: واقعاً این هوشها میتونن نتیجه تحقیقات رو جوری جمعبندی کنن که به اندازه کافی به شواهد و قدرت اون شواهد توجه کنن؟
تو این مقاله درباره یه چیزی به اسم “خلاصهسازی علمی بر اساس شواهد” صحبت شده. خلاصهسازی علمی یعنی وقتی چندتا مقاله یا منبع علمی داریم، ازشون یه خلاصه کلی تهیه بشه که دقیقاً نشون بده چه شواهد قویای وجود داره، هر شواهد تا کجا پوشش داره (Scope یعنی محدودهای که تحقیق معتبره) و کجاها هنوز کمبود یا خلأ شواهد داریم.
برای اینکه ببینن LLMها واقعاً چقدر تو این کار خوبن، دست به یه آزمایش جدیدی زدن که اسمش رو گذاشتن “کالبریف”. این کالبریف در حقیقت یه معیار آزمایشی و ابزار تشخیصه که طراحی شده تا بفهمه خلاصهسازی علمی کی خوب انجام شده و کی ضعیفه یا حتی خراب شده. کل این پروژه هم با ۱۶ تا مجموعه شواهد علمی مختلف و ۹۶ تا خلاصه انسانی تاییدشده انجام شده — یعنی از چندتا دونه مقاله تا یه پکیج علمی کامل رو تست کردن!
حالا چی به چی بود؟ تو این آزمون از سه مدل معروف (یعنی سه رقیب هوش مصنوعی معروف به اسم GPT-4o، Claude Sonnet، و Gemini Flash) خواستن خلاصه تولید کنن و قدرتشون رو تو جمعبندی شواهد علمی بسنجن. یه روش ارزیابی هم گذاشتن به اسم “fair-schema” که بیاد و ساختار خلاصهها رو بر اساس نقش و خلأها برسی کنه. اینجا نقش یعنی هر بخش از خلاصه چه وظیفهای داره و Gap هم یعنی جای خالی یا موضوعاتی که هیچ شواهدی نداره.
یه بحث باحال درباره برچسبگذاری هم بود. تو حالت سنتی فقط دو برچسب داریم: “متوسط” یا “ضعیف” (تقریباً میشه گفت: شواهد چقدر محکمان؟). ولی بعد مشخص شد اگر بیایم و چهار برچسب درست کنیم، مثلاً علاوه بر متوسط و ضعیف، “نامطمئن” و “شواهد ناکافی” هم بذاریم، مدلها محافظهکارتر میشن (یعنی سختگیرتر میگن شواهد قوی نیست). آمارش جالب بود: تقریباً ۶۳٪ این محافظهکاری فقط مربوط به این تغییر برچسبهاست، نه چیزای دیکه! یعنی وقتی مدل فقط باید دو انتخاب بکنه، راحتتر نظر میده، ولی با چهار انتخاب، دست به عصاتر میشه!
در این بین فقط ۱٪ از این محافظهکاری به خاطر تاکید روی اشاره به خلأها یا گسترش محدوده خلاصهسازی بود و باقی (حدود ۳۶٪) به سیاست کلی روند خلاصهسازی برمیگرده. یعنی طرز حل مسئله و برخورد مدل با شواهد.
یه نکته باحال دیگه هم بود: نتیجه گرفتن که میشه بعداً این چهار برچسب رو دوباره جمع کرد و به حالت دودویی (دوگانه: متوسط و ضعیف) تبدیل کرد. تازه وقتی این کار رو میکنن، مدل بعضی وقتا حتی بهتر از حالت اصلی دودویی پیشبینی میکنه، پس این برچسب اضافهها، اطلاعات بیشتری تو خودشون دارن که اگه دیده نشه، از دست میره.
در آخر هم میگن که توانایی مدل در قضاوت روی قدرت شواهد (یعنی label-level strength judgment) و تواناییش در تنظیم خلاصهبندی با سازماندهی شواهد به صورت دقیق (auditable evidence organization یعنی جوری سازماندهی کنه که بعدش راحت قابل بررسی باشه) باید جداگانه سنجیده بشه. چون این دو تا مهارت انگار یه کم با هم تعارض دارن، پس نباید با یه معیار یا فرمول ساده همهش رو قضاوت کنیم. خلاصه، اگر دوست دارین دستیار هوش مصنوعی برای خلاصهکردن تحقیقها داشته باشین، باید بدونین که هنوز چندتا چالش و سؤال بیجواب هست که باید حل بشه!
منبع: +
