تا حالا دیدی هوش مصنوعی با اینکه خیلی با اعتمادبهنفس جواب میده، بعضی وقتا جوابش کاملاً اشتباهه؟ به این اتفاق تو دنیای هوش مصنوعی میگن “hallucination” یا همون هذیان گفتن. یعنی مدل به جای اینکه بگه “نمیدونم” یا اصلاً جواب نده، با اطمینان کامل اطلاعات غلط تحویل میده!
حالا دانشمندا دنبال راههایی میگردن که این مشکل رو کمتر کنن. یکی از روشهایی که تا حالا استفاده میشد، activation steering بود. این یعنی کنترل و هدایت اطلاعات در طول پردازش مدل که بازی درونی مدل رو تا حدی کنترل میکرد (مثلاً سعی میکردیم مدل تو جواب دادن کمتر چرت بگه). اما این روش یه مشکل بزرگ داشت: باید لحظه به لحظه مدل رو مانیتور و کنترل میکردی که خب تو کارای عملی حسابی دردسر درست میکرد.
اینجاست که CASAL میاد وسط! CASAL مخفف عبارت Contrastive Activation Steering for Amortized Learning هست. اگه بخوام ساده بگم، یعنی یه روش جدید بر پایه Activation Steering که به جای اینکه فقط موقع جواب دادن مدل رو کنترل کنی، این کار رو میبری توی آموزش مدل، و ذهنیت درست رو همون اول تو مغزش جا میندازی!
میخوای بدونی CASAL دقیقاً چی کار میکنه؟ این روش باعث میشه مدل فقط زمانی جواب بده که مطمئنه، و اگه ندونه، قشنگ میگه “من نمیدونم” یا سکوت میکنه. دیگه اون بالابلندی رو نداره که اگه چیزی بلد نیست، الکی جواب بده!
نکته باحال ماجرا اینه که CASAL فقط یه قسمت کوچیک از یه لایه ترنسفورمر رو آموزش میده – یعنی لازم نیست کل مدل رو از اول آموزشی بدی و کلی منابع مصرف کنی. تو تستهایی که انجام دادن، میزان هذیان گفتن مدل ۳۰ تا ۴۰ درصد کم شده! (یعنی مثلاً تو آزمایشای کوتاه پرسشوپاسخ، خیلی کمتر الکی جواب الکی میده).
یه چیز جالب دیگه اینکه CASAL خیلی مقرونبهصرفهست؛ حدود ۳۰ برابر محاسبات کمتر لازم داره و ۲۰ برابر هم داده کمتری نسبت به روشهای معمول مثل LoRA (که یه روش معروف فاینتیون کردنه)، SFT و DPO نیاز داره. یعنی حتی اگه تو یه حوزه کوچیک و دادهکم باشی، با CASAL کارت راه میافته.
حالا چرا این مهمه؟ چون کلی کاربرد تو دنیای واقعی داره؛ مثلاً جایی که مدل به داده زیاد دسترسی نداره یا وقتی تو نرمافزارای تجاری میخوای واقعاً مطمئن باشی مدل کمتر اشتباه میزنه.
یه نکته خیلی جذاب اینه که CASAL فقط برای زبان نیست؛ مدلای ترکیبی متن و تصویر رو هم میتونه کنترل کنه تا کمتر چرت بگن! همچنین روی مدلای سنگینتر مثل Dense و حتی Mixture-of-Experts (MoE) — که یعنی مدلایی که چند تا متخصص تو خودشون دارن و کارها رو تقسیم میکنن — هم جواب داده و موثر بوده.
در کل، این روش یه قدم حسابی رو به جلوئه. برای اولین باره که یه روش آموزش با محوریت activation steering (همون هدایت فعالسازیها) نشون داده تو مدلای مختلف و حتی شرایط دادهکم، جدی جواب میده.
خلاصه اگه دنبال یه راه هستی که هوش مصنوعیات کمتر هذیون بگه و وقتی نمیدونه، بیخود ادعا نکنه، CASAL به درد میخوره! اینم بگم که با این رویکرد میشه هوش مصنوعیها رو بیشتر به درد زندگی واقعی و نرمافزارای جدی آورد. پس مطمئن شو دفعه بعد که سراغ هوش مصنوعی میری، ببینی از CASAL خبری هست یا نه! 😉
منبع: +
