حتماً اسم مدلهای زبانی بزرگ یا همون LLMها رو شنیدین! این مدلها مثل ChatGPT یا بقیه همخونوادههاش، الان تو خیلی از برنامهها دارن استفاده میشن و ماموریتشون اینه که با انواع فرمتهای داده سر و کله بزنن؛ مثلاً یه وقت باید متن معمولی رو بفهمن، یه وقت باید با جدولها کار کنن، یا باید سراغ infoboxها (یعنی باکسهایی که توشون اطلاعات مختصر و مفید خلاصه میشه، مثلاً تو ویکیپدیا)، یا حتی knowledge graphها (نقشهای از ارتباط بین چیزهای مختلف) برن.
ولی نکته جالبی که نویسندههای این تحقیق بهش پرداختن اینه که ممکنه این مدلهای زبانی بیخود و بیجهت به یه سری فرمتهای خاص بیشتر علاقه نشون بدن! یعنی چی؟ یعنی مثلاً وقتی اطلاعات متنی و جدول دارن با هم رقابت میکنن، مدل بیاد فقط به متن توجه کنه و جدول رو تا حد زیادی نادیده بگیره؛ این رو بهش میگن bias یا تعصب فورمتی (format bias). تعصب فورمتی یعنی مدل یه طرف داستان رو بگیره، فقط به یه فرمت داده توجه کنه و بقیه رو کمتر جدی بگیره. خب، این میتونه باعث اشتباه تو نتیجهگیری یا به قول خارجیها reasoning بشه، و طبیعتاً ریسک اتفاقای بد تو کارهای بعدی رو بالا ببره!
تو این مقاله واسه اولین بار ماجرای این تعصب فورمتی رو تو مدلهای زبانی بررسی کردن و با کلی آزمایش و کندوکاو سه تا هدف اصلی داشتن:
۱. اول میخواستن بفهمن اصلاً این بایاس واقعا وجود داره یا نه و اگه هست، جهتش چیه؛ یعنی کدوم فرمت محبوبتره! برای این کار چندین مدل معروف رو گذاشتن پای کار تا ببینن هر مدل چطور رفتار میکنه.
۲. مرحله بعد، دقت کردن ببینن چه ویژگیهایی از خود دادهها باعث میشه مدل سمت یه فرمت خاص بره. این ویژگیها شامل چیزایی مثل:
- richness اطلاعات (یعنی چقدر داده پرمحتواست)
- کیفیت ساختار (structure quality یعنی داده چقدر منظم و خوش ساختاره)
- خود نوع فرمت (مثلاً متن باشه بهتره یا جدول یا چیز دیگه)
۳. تو بخش سوم هم بررسی کردن که این تعصب فورمتی چطور توی الگوریتم حواس (attention) مدلها شکل میگیره؛ همون الگوریتم attention که باعث میشه مدل بفهمه کدوم قسمت داده رو باید دقیقتر نگاه کنه. جالبتر اینجاست که با یه مداخله ساده (یک کار سبک) تست کردن که آیا میشه این بایاس رو کم کرد یا نه!
در نهایت هم سه تا پیشنهاد مطرح کردن که محققای آینده میتونن انجام بدن تا این مشکلات کمتر بشه:
۱. قبل از آموزش مدل، دادهها رو یه دور به اصطلاح sanitize و normalize کنن (یعنی فرمتهاشون رو تمیز و همشکل کنن)
۲. موقع inference که مدل میخواد جواب بده، با ترفندهایی مثل attention re-weighting (وزندهی دوباره به حواس مدل) بتونن کمی جلوی بایاس رو بگیرن
۳. سراغ ساخت دادههای آموزشی جدید و متوازنی برن تا مدل از همون اول بلد باشه همه فرمتها رو منصفانه بخونه
خلاصه که اگر دوست دارین مدلهای هوشمندی داشته باشیم که هر نوع دادهای – چه جدول، چه متن، چه گراف – رو با انصاف و دقت پردازش کنن، این داستان تعصب فورمتی رو باید جدی بگیریم و واسش دنبال راهکار بمونیم!
منبع: +
