حتماً این روزا زیاد می‌شنوی که مدل‌های زبانی بزرگ یا همون LLMها (یعنی هوش مصنوعی‌هایی مثل ChatGPT که می‌تونن با متن کار کنن) تحولی توی دنیای تحلیل احساسات ایجاد کردن. مثلاً تشخیص بدن یه متن لحنش مثبت، منفی یا خنثی‌ست. اما پشت این پیشرفت یه عالمه داستان و دردسر هم وجود داره که شاید خیلی‌ها روش زوم نکردن.
یکیش همین موضوع “عدم قطعیت و نوسان مدل” هستش (تو زبان انگلیسی بهش می‌گن Model Variability Problem یا MVP). یعنی چی؟ یعنی اگه شما یه پیام یا توییت رو چند بار به این مدل بدی، ممکنه هر بار یه جور جواب بده! مثلاً یبار میگه احساسش مثبته، یه بار میگه منفیه، حتی گاهی جواباش خیلی دو قطبی میشه! حالا دلیلش چیه؟
اول بذار چند تا از این دلایل اصلی رو که تو این تحقیق مطرح کردن با هم مرور کنیم:
- مکانیسم تصادفی مدل‌ها یا Stochastic Inference: یعنی مدل برای تولید جواب یه مقدار شانس و تصادف توش دخیله، پس هر بار خروجی ممکنه فرق کنه.
- حساسیت به پرامپت: منظور از Prompt یعنی همون سوال یا دستوری که به مدل میدی. گاهی تغییر کوچیک توی پرامپت نتیجه رو کلی تغییر میده.
- سوگیری تو داده‌های آموزشی: Datasetهای بزرگی که مدل توشون آموزش می‌بینه، ممکنه خودشون پر از سوگیری باشن، مثلاً بیشتر متن‌های مثبت یا منفی داشتن و این روی قضاوت مدل تاثیر می‌ذاره.
- پارامتر Temperature: اگه دیدی توی تنظیمات مدل عددی به اسم Temperature هست، منظورش اینه که چقدر می‌خوای خروجی مدل تصادفی باشه. عدد بالاتر = خروجی متنوع‌تر و رندوم‌تر؛ عدد پایین‌تر = نتایج با ثبات‌تر.
اینا فقط بخشی از دلایل بود. توی مقاله حتی ۱۲ دلیل اساسی برای این نوسان‌ها آوردن!
حالا این نوسان و غیرقابل پیش‌بینی بودن مدل‌ها واقعاً مشکل‌سازه، مخصوصاً تو حوزه‌هایی مثل بانکداری، سلامت یا سیاست‌گذاری که اشتباه تو قضاوت احساسات می‌تونه حسابی گَند بزنه به اوضاع! واسه همین محقق‌ها دنبال راه‌حل بودن و هستن تا این مدل‌ها رو قابل اعتمادتر کنن.
یه راه مهمی که معرفی شده، افزایش «قابلیت توضیح‌پذیری» یا Explainability هست. این یعنی مدل باید طوری باشه که کاربر (یا حتی خود دانشمند هوش مصنوعی) بفهمه چی شد که مدل این رأی رو داد. Explainability باعث میشه هم شفایت مدل‌ها بیشتر بشه و هم کاربرا به این مدل‌ها بیشتر اعتماد کنن. توضیح‌پذیری کمک می‌کنه تا بفهمیم اگه یه جا مدل اشتباه کرد تقصیر از کجا بوده، مثلاً بخش خاصی از متن، یه نوع سوگیری یا ترکیب شرایط خاص.
تحقیق اومده مثال واقعی و حتی دو تا مطالعه موردی (Case Study) رو بررسی کرده تا نشون بده چطور این مسأله MVP هم تو عمل مدل رو ناپایدار و غیرقابل اعتماد می‌کنه و هم چه تاثیر مهمی تو شفافیت، تکرارپذیری و ضریب اطمینان مدل داره.
در کل، اگر می‌خوای مدل تحلیل احساساتت واقعاً به درد بخوره و تو شرایط حساس گاف نده، حتماً باید نگران پایداری، توضیح‌پذیری و کنترل متغیرهایی مثل Temperature (یعنی درجه تصادفی بودن جواب‌هاش) باشی. اینطوری مدل هوشمندت واقعاً قابل استفاده تو دنیای واقعی میشه نه فقط توی آزمایشگاه!
منبع: +
