تا حالا شده که با این مدلهای زبانی بزرگ (LLMs) مثل چتجیپیتی کار کنی و یه جواب عجیب و غریب یا پرت از واقعیت بگیری؟ به این پدیده میگن “هذیانگویی” یا تو انگلیسی “Hallucination”؛ یعنی مدل یه چیز قشنگ تحویل میده که اصلاً پایه و اساسی نداره، فقط واقعی به نظر میاد! این موضوع مشکلساز میشه چون حسابی میتونه تو دنیای واقعی دردسر درست کنه؛ مثلاً وقتی کسی به مدل اعتماد میکنه و اطلاعات اشتباه میگیره.
حالا تا همین اواخر کلی تلاش شده بود با مدلهایی که خروجی مدل رو بررسی (یا پروب کردن) میکردن، این هذیانها رو تشخیص بدن. جالب اینجاست که این روش ها با سرک کشیدن به “نمایشهای درونی” مدل کار میکنن. نمایش درونی یعنی اون چیزایی که مدل تو دل خودش ذخیره یا پردازش میکنه (یه جورایی مغزشه!) و خیلی وقتا نکتههای ریز و مهمی اونجا هست که خروجی مدل مستقیم نشونشون نمیده.
پس چی شد؟ تو این تحقیق اومدن و گفتن: بیاید ببینیم آیا میتونیم با استفاده از لایههای درونی مدلهای زبانی، هذیانگویی رو دقیقتر و بهتر تشخیص بدیم؟ حتی یک معماری جدید ساختن که وقتی مدل مشغول جواب دادنه، بتونه وزن و اهمیت هر لایه رو بسته به موقعیت عوض کنه و با ترکیب دادههای داخلی از لایههای مختلف، کلی اطلاعات بیرون بکشه برای تشخیص هذیان.
برای تست کردن این ایده هم، سه تا چالش معروف یا همون بنچمارک رو استفاده کردن: TruthfulQA (که سؤالات درست و غلط زیادی داره)، HaluEval (که مخصوص هذیانیابی ساخته شده)، و ReFact (که تمرکز روی بررسی واقعیتداشتن جوابها داره). خلاصه، اینا حسابی مدل جدید رو تو این سه مورد چک کردن.
دو تا نتیجه مهم گرفتن: اول اینکه این روش جدید از روشهای پروب سنتی بهتر جواب داده. دوم اما (مثل همیشه تو دنیای علم!) یه مشکل کوچیک بود: مدل وقتی با دادههای جدید یا مدلهای زبانی دیگه روبرو میشه، عمومیتدهی براش سخت میشه. ولی مقاله نشون داده با یه سری ترفند مثل آموزش مدل با دادههای متنوع از چند چالش مختلف (که بهش میگن کراس-بنچمارک ترینینگ)، یا “یخزدایی پارامترها” (یعنی بعضی از پارامترهای مدل رو قفل میکنن که حین یادگیری تغییر نکنه)، این مشکل تا حد زیادی حل میشه. منظور از پارامتر همون تنظیمات داخلی مدل هوش مصنوعیه که تعیین میکنه چطور جواب بده.
جمعبندی داستان اینه که با زیر و رو کردن لایههای داخلی مدلهای زبانی و استفاده هوشمندانه از اطلاعاتشون، میتونیم مدل رو عاقلتر و قابلاعتمادتر کنیم و احتمال گرفتن جواب پرت و هذیانگونه رو کمتر کنیم. واقعاً دنیای هوش مصنوعی هیچوقت یهجور نمیمونه و هر روز یه راهحل باحالتر پیدا میشه!
منبع: +
