اگه تا حالا با مدلهای زبانی بزرگ (Large Language Models یا همون LLMs) سر و کار داشتی، حتماً میدونی که این مدلها فوقالعاده قوی هستن و جوابهای عجیب غریبی میدن، ولی تقریباً کسی دقیق نمیدونه چطور دارن تصمیم میگیرن یا چرا یه چیزی رو انتخاب میکنن. به اصطلاح خودشون «جعبه سیاه» هستن – یعنی همه چی داخل مدل پنهونه و کسی نمیدونه سازوکار تصمیمگیریشون دقیقاً چیه!
حالا چندتا دانشمند اومدن یه ایده خفن زدن که هم مدل رو باز و قابل فهمتر کنن، هم بازدهی رو بالا ببرن. اسم این راه حل رو گذاشتن: معماری تشدید معنایی (Semantic Resonance Architecture یا به اختصار SRA). هدف اصلی، اینه که ما دیگه فقط به یه مدل عجیب و غریب اعتماد نکنیم، بلکه بتونیم دقیقاً بفهمیم چرا و چجوری مدل داره تصمیم میگیره.
بیاین قضیه رو ساده کنیم: تو مدلهایی مثل Mixture-of-Experts (MoE) که یعنی یه مجموعه از «متخصصها» دارن با هم کار میکنن تا جواب درست رو پیدا کنن، معمولاً یه چیز به اسم “گیت” (gating function) تصمیم میگیره که کدوم متخصص باید فعال شه. معمولاً این گیتها خودشون با یادگیری عمیق آموزش داده میشن و آخرش برای انسانها کاملاً مبهم هستن.
تا الان، بعضیا رفتن سراغ روشی که بهش میگن “Cosine Router” که یعنی جابهجایی با استفاده از شباهت کسینوسی (Cosine similarity یعنی میزان شباهت دو تا بردار عددی رو با زاویه بینشون میسنجیم – یه راه برای اینکه ببینیم دو تا چیز چقدر از نظر معنایی به هم نزدیکن) تا آموزش رو پایدارتر کنن. ولی کمتر کسی اومده بود از همین ایده برای بهتر فهموندن تصمیمات مدل استفاده کنه.
توی معماری جدید SRA، گیت مبهم رو میزارن کنار و جاش یه ماژول جدید به اسم Chamber of Semantic Resonance (یا همون CSR که ترجمه راحتش میشه: تالار تشدید معنایی!) میذارن که کارش اینه: به جای اینکه فقط براساس یه سیگنال عجیب انتخاب کنه، میاد واسه هر توکن (هر واحد کوچیک از ورودی مدل) میسنجه که چقدر به اصطلاح با یه سری “لنگر معنایی” (trainable semantic anchors یعنی نقطههای مرجع معنایی که مدل یاد میگیره) شبیه هست یا رزونانس داره.
این کار باعث میشه هر متخصص تو مدل MoE برای یه سری مفاهیم خاص و واضح فعال شه، و دیگه آدم میتونه بفهمه چرا مثلاً متخصص ۳ فعال شد نه متخصص ۵.
یه چیز باحال دیگه که تو این تحقیق اومده، معرفی یه تابع هزینه جدید به اسم Dispersion Loss هست. این وظیفهاش اینه که این لنگرهای معنایی رو مجبور کنه تا جای ممکن متفاوت باشن و با هم تداخل نکنن (به اصطلاح ریاضی، اورتوگونال بمونن یعنی تو فضاهای معنایی متفاوت تخصص داشته باشن). نتیجهی این کار؟ هر متخصص تو مدل واقعاً «تخصصی» میشه و کارهای منحصر بهفرد خودش رو انجام میده. هم بازدهی مدل بالا میره و هم شفافیتش حسابی افزایش پیدا میکنه.
برای اینکه این حرفها فقط شعار نباشه، اومدن مدل SRA رو روی دیتاست معروف WikiText-103 تست کردن. نتیجهها هیجانانگیز بوده: پرپلکسیتی (perplexity یعنی یه معیار برای ارزیابی مدل زبانی، هرچی کمتر بهتر) روی اعتبارسنجی شد ۱۳.۴۱، که از مدل مرجع «متراکم» (یعنی همون مدل معمولی) با امتیاز ۱۴.۱۳ و حتی از مدل MoE استاندارد باامتیاز ۱۳.۵۳ بهتره – اونم در حالی که تعداد پارامترهای فعال تو همه این مدلها یکی بوده.
یه داستان مهم تو MoEها، اینه که بخش زیادی از «متخصصها» عملاً هیچ وقت فعال نمیشن (اینا رو dead experts میگن، یعنی متخصصهای مرده). تو مدل SRA فقط ۱٪ متخصصها غیر فعال بودن، در حالی که تو مدل MoE استاندارد تقریباً ۱۴.۸٪ متخصصها هیچ وقت فعال نمیشدن! تازه این معماری جدید باعث شده هر متخصص یه مفهوم دقیق و منظم رو یاد بگیره (و اینطوری تخصصی و تمیزتر کار میکنه)، برعکس روشهای قدیمی که حالت آشوبی و درهم دارن.
در کل، این کار نشون داده که اگه روال اختصاصِ توکنها به متخصصها بر پایه معنای واقعی کلمات و لنگرهای معنایی باشه، هم مدل قابل کنترلتر و شفافتر میشه، هم بازدهی کلیش بالا میره. خلاصه اگر همیشه فکر میکردی مدلهای زبانی بزرگ فقط یه جعبه سیاه عجیبن و فهم رفتارهاشون محاله، الان به نظرم زمانشه که سبک معماری SRA رو بیشتر بشناسی!
منبع: +
