اگه یه کم اهل دنیای هوش مصنوعی باشی، احتمالاً اسم LLM یا همون Large Language Model به گوشت خورده. اینا همون مدلهایی هستن که میتونن جملات طولانی و هوشمندانه بسازن، مثلاً GPT. یه تکنیک خیلی معروف تو این مدلها هست به اسم “Speculative Decoding”، که یه جوری باعث میشه این مدلها سریعتر جواب بدن و معطلی کاربرا کمتر شه. اما حالا قضیه اینجاست: تا حالا کسی درست و حسابی نیومده بود این روش رو برای مدلهای «بینایی-زبان» امتحان کنه (یعنی مدلهایی که میتونن هم تصویر بفهمن، هم متن)!
خود این مدلهای بینایی-زبان، یا همون VLMها، مثلاً ChatGPTهایی هستن که تصویر هم بهشون بدی میفهمن چی به چیه و توضیح میدن. ولی هنوز سرعتشون واسه جواب دادن زیاد بالا نبوده؛ یعنی با روشهای فعلی نهایت ۱.۵ برابر سریعتر میشدن که خب خیلی هیجانانگیز نیست.
حالا اینجا یه کار باحال رخ داده: چند نفر اومدن یه روش جدید مطرح کردن به اسم ViSpec (که مخفف Vision-Aware Speculative Decoding هست). ایدهشون اینه که بیایم تصویر رو هوشمندانهتر و فشردهتر وارد مدل کنیم تا مدل بتونه سریعتر بفهمه و جواب بده.
چی کار کردن دقیقاً؟
اولاً اومدن یه ماژول سبک به مدل اضافه کردن که تصویر رو به صورت یه مجموعه کوچیکتر از «توکن»ها (Token یعنی همون واحدهایی که مدل باهاشون کار میکنه) خلاصه میکنه. بعد این دادهی فشرده رو جوری وارد سیستم کردن که هم جای قبلی تو تصویر رو حفظ میکنه، هم مدل بتونه راحتتر اون رو تجزیهوتحلیل کنه.
یه حرکت باحال دیگهشون هم اینه که برای هر تصویر یه جور خلاصهکلّی یا “Global Feature Vector” درمیارن و بعدش این ویژگی رو به همه توکنهای متنی اضافه میکنن (خلاصهش یعنی مدل همیشه یه درک کلی از تصویر داره، حتی موقع خوندن باقی متنها).
یه مشکل اصلی دیگه هم سر راهشون بود: واسه آموزش این مدلهای ترکیبی، دیتاستهای زیادی که هم تصویر دارن، هم متن، و اونم جوابهای بلند و کامل بدن، خیلی کم بود. واسه همین بچههای ViSpec خودشون آستین بالا زدن و یخورده از دیتاستهایی که بود استفاده کردن، یخورده هم باهوشبازی از مدل هدف خروجیهای بلند گرفتن و یه مجموعه تمرینی حسابی جور کردن.
یه نکته مهم از نظر آموزش هم این بود: نمیخواستن مدل کوچیکتر شرتبازی دربیاره و نتایج رو فقط از مدل بزرگ کپی کنه! چون اگه مدل کوچیک همیشه جواب مدل بزرگ رو بدونه، عملاً چیزی یاد نمیگیره و فقط تقلب میکنه. واسه همین طوری آموزش دادن که این اتفاق نیفته و یادگیری واقعی باشه.
نتیجه آزمایشها نشون داد که ViSpec واقعاً اولین سیستمیه که تونسته سرعت پردازش پیشبینی تو مدلهای بینایی-زبانی رو به طور معنیدار زیاد کنه. یعنی حالا نه تنها مدل میتونه تصویر و متن رو با هم بفهمه، بلکه دیگه لازم نیست برای هر عکس و هر جمله معطل بمونی!
خلاصه اگه روزی دیدی یه ربات اومد عکس و متن رو دوقلو مثل برق برات تحلیل کرد، بدون ممکنه پای ViSpec وسط باشه! 😉
منبع: +
