حتماً براتون پیش اومده که وقتی یه سوال سخت دارید یا می‌خواید یه مسئله ریاضی پیچیده رو حل کنید، وسط راه همه چی تو ذهنتون قاطی پاطی بشه! جالبه بدونید مدل‌های هوش مصنوعی جدید هم دقیقاً داستانش همین طوریه. مدل‌هایی مثل ChatGPT وقتی می‌خوان به یه سوال طولانی جواب بدن، مسیر فکری‌شون (همون چیزی که بهش chain of thought یا زنجیره استدلال می‌گن) خیلی وقت‌ها پر از فکرای تکراری و اضافی میشه که نه تنها کمکی نمی‌کنه، بلکه گیج هم میشن.
توی یه مقاله جدید به اسم “Think Clearly: Improving Reasoning via Redundant Token Pruning” که روی سایت arXiv منتشر شده، گروهی از محقق‌ها اومدن دقیقاً این موضوع رو بررسی کردن. خب اول یه توضیح کوچیک! arXiv یه سایت معروف برای مقالات علمی هست و مدل زبان (Large Language Model) هم مثل همون سیستمیه که پشت سر چت‌بات‌ها (مثل ChatGPT) کار می‌کنه.
ماجرا اینه که این مدل‌های جدید وقتی دارن قدم به قدم فکر می‌کنن، معمولاً بخاطر ساختارشون خیلی از محتواشون تکراری میشه. مثلاً توی توجه‌شون (Attention، یعنی همون بخشی که مدل می‌فهمه هر بخش متن چقدر مهمه)، می‌بینیم که مدام بین بخش‌های مختلف متن جابجا میشن و هیچ تمرکز درست‌حسابی روی قسمت ویژه‌ی آخر هر مرحله از فکر کردن ندارن. مخصوصاً وقتی جواب اشتباه بدن، این توجه پراکندگی بیشتری داره!
حالا راهکار جدید این مقاله چی بوده؟ اونا اومدن پیشنهاد دادن که بیایم این قسمتای تکراری و شلوغ رو حذف کنیم تا مدل بتونه شفاف‌تر فکر کنه و حواسش پرت نشه. یعنی چی؟ یعنی توی هر مرحله که مدل داره فکر می‌کنه، یه سیگنال خاص به انتهای هر مرحله اضافه می‌کنن به اسم “end-of-thinking token”. این توکن مثل یه علامت پایان فکر کردنه که به مدل می‌فهمونه الان دیگه باید جمع‌بندی اون مرحله رو ببینه. بعدشم با یه روش هوشمندانه براساس امتیاز توجه‌ای که هر بخش از متن گرفته، می‌سنجد کدوم بخشا واقعاً مهم بودن و کدوم فقط دارن شلوغ می‌کنن.
یه نکته جالب: این حذف کردن قسمتای اضافه رو به جای اینکه فقط روی کلمه‌ها (توکن‌ها) کار کنن، اومدن روی تکه‌های منطقی فکر کردن (Reasoning Chunks) یه جورایی گروه‌بندی کردن. یعنی اولویت رو میدن به حذف بخش‌هایی که تو فکر کردن سهم زیادی نداشتن خلاصه، مدل رو از مزاحمت‌های اضافی نجات میدن!
وقتی این تکه‌های مزاحم حذف شد، اون علامت end-of-thinking هم پاک میشه و مدل دوباره فکر کردنش رو ادامه میده. جالبیش اینه که این روش اصلاً نیاز به آموزش مجدد مدل نداره (یعنی لازم نیست مدل دوباره با داده‌های جدید تمرین کنه)، فقط کافیه تو مرحله فکر کردن این حذف‌ها رو انجام بدیم. نتیجه‌ش چی بوده؟ دقت مدل‌ها توی تست‌های خیلی باحال و سخت، مخصوصاً توی رقابت‌های ریاضی معروف مثل AIME و AMC (این‌ها مسابقات معتبر حل مسئله ریاضی هستن)، به شدت بهتر شده! چون اکثر فکرای اضافی تو این مسائل بیشتر رخ میده و حذفشون باعث میشه مدل حواسش کاملاً جمع جواب درست باشه.
در کل، اگه بخوام ساده جمع‌بندی کنم: وقتی مدل‌های هوش مصنوعی رو از مطالب و فکرای اضافی و تکراری خالی کنیم، دقیق‌تر و با تمرکز عالی‌تر نتیجه میدن. انگار براشون یه لیوان آب خنک ریختیم و گفتیم: آقا آروم باش، یکی یکی جلو برو و هی شلوغش نکن! شاید این ترفند واسه خودمون موقع فکر کردن هم جواب بده، نه؟ 😂
منبع: +
