آشنایی با LLM-JEPA: ماجرای مدل‌های زبانی بزرگ و معماری پیش‌بینی مشترک!

تا حالا اسم LLM-JEPA به گوش‌ت خورده؟ بذار یه خورده خودمونی راجع بهش صحبت کنم و بگم داستان از چه قراره!

ببین، ما معمولاً وقتی می‌خوایم مدل زبانی بزرگ یا همون Large Language Model (که خلاصه‌ش میشه LLM) رو آموزش بدیم یا حتی بعدش روی یه کار خاص تنظیمش کنیم (اینو بهش میگن pretraining و finetuning)، معمولاً مدل رو مجبور می‌کنیم ورودی رو بازسازی کنه یا خودش محتوا تولید کنه. مثلاً پیش‌بینی کنه جمله بعدی چیه یا جواب بده. اینو بهش میگن “آموزش برپایه بازسازی فضای ورودی”.

اما تو دنیای مدل‌های تصویری، یه مدت یه رویکرد خفن مد شد به اسم JEPA یا همون Joint Embedding Predictive Architectures. یعنی چی؟ یعنی به جای اینکه مدل مستقیم عکس رو بازسازی کنه، میاد یاد می‌گیره اون رو به یه فضای نهفته (embedding) ببره و بین این فضاها پیش‌بینی انجام بده. حالا embedding هم یعنی همون بردارهایی که مدل‌ها تو شکمشون واسه نمایش داده‌ها استفاده می‌کنن. داستان جالب اینه که این روش تو دنیای بینایی خیلی جواب داده و بهتر از روشای قدیمی بوده…

حالا فکر کن! یه سوال باحال اینجا پیش میاد: واقعاً چرا مدل‌های زبانی (که مثلاً ChatGPT یا Llama هستن) نمیان یه کم فوت و فن از دنیای مدل‌های تصویری یاد بگیرن؟ واقعاً میشه؟ اهل فن دیدن که تا الان مدل LLM که بر مبنای JEPA باشه ساختنش کلی دردسر داشته و کسی درست حسابی انجامش نداده بود!

حالا بریم سر اصل مطلب: تو همین مقاله که مدل LLM-JEPA معرفی شده، محققاش اومدن و برای اولین بار یه راه حل ساختن که JEPA رو هم تو مرحله آموزش اولیه (pretraining) و هم موقع تنظیم نهایی (finetuning) رو مدل‌های زبانی اجرا کنه. یعنی دیگه فقط مدل رو مجبور نمی‌کنن ورودی تولید کنه! بلکه میره و پیش‌بینی‌هاشو تو همون فضای embedding انجام میده.

نتیجه چی بوده؟ واقعاً باحال! LLM-JEPA تونسته نسبت به روش‌های قدیمی آموزش مدل زبانی، ازشون بهتر عمل کنه. اینو رو مدل‌های مختلف (مثل خانواده‌های Llama3، OpenELM، Gemma2، و حتی Olmo) و دیتاست‌های باحال مثل NL-RX، GSM8K (این دیتاست‌ها رو برای تست تسلط زبانی و سوالات پیچیده استفاده می‌کنن)، Spider (برای پرسش‌های بانک اطلاعاتی)، و RottenTomatoes (واسه بررسی نظر و حس آدم‌ها) امتحان کردن. یادت باشه تو این مدل‌ها، JEPA باعث شد مدل نه تنها بهتر یاد بگیره، بلکه جلوی زیادی وابسته شدن به دیتای آموزشی (بهش میگن overfitting، یعنی مدل همه‌چی رو از روی حافظه میگه و خلاق نیست) رو هم گرفته!

در آخر اگه می‌خوای خودت کدش رو ببینی، اینم آدرس گیت‌هابش: https://github.com/rbalestr-lab/llm-jepa

پس خلاصه‌ش! حالا LLM‌ها دارن تکنیک‌های باحال‌تر از دنیای بینایی یاد می‌گیرن که هم تو پیش‌آموزش و هم فاین‌تیونینگ‌شون تاثیر زیادی داره؛ کلاس درس این دو دنیا داره بهم نزدیک‌تر میشه!

منبع: +