اگه تا حالا با هوش مصنوعی یا همون LLMها (یعنی مدل‌های زبانی بزرگ که مثل ChatGPT جواب میدن) سر و کار داشتی، احتمالاً دیدی که این روزا خیلیا برای جواب گرفتن درباره مهاجرت تحصیلی، پذیرش دانشگاه، ویزا یا حتی بورسیه ازشون استفاده می‌کنن. اما واقعاً چقدر میشه به جواب‌هایی که این مدل‌ها میدن اعتماد کرد؟ نکنه یه وقت راه غلط نشون بدن یا شایعات بی‌اساس تحویل بدن؟ داستان این مقاله دقیقاً همینه!
توی این مطالعه اومدن با استفاده از ApplyBoard – این یه پلتفرمه تو حوزه EdTech، یعنی فناوري آموزشی، که از پیدا کردن راه تا ثبت‌نام کمک دانشجویان خارجی می‌کنه – یه سری سؤال واقعی که دانشجوها توی فرآیند مشاوره می‌پرسن رو جمع کردن. بعد این سؤالارو دادن به چند مدل LLM که جواب بدن. بعدش هم جواب‌ها رو واقعاً بادقت بررسی و نمره‌دهی کردن.
نمره‌دهی چطوری بوده؟ سه تا حالت داشتن: درست، ناقص، غلط! برای اینکه دقیق باشن، یه سری نکته هم در نظر گرفتن. مثلاً اگه جواب فقط یه بخش کوچیک ماجرا رو پوشش بده، بهش میگن under-coverage (یعنی کافی نیست) و اگه مدل بره سراغ چیزی که اصلاً ربط نداره، اسمشو گذاشتن hallucination یعنی چیزی از خودش در آورده یا اضافه گفته که تو سؤال نبوده.
یه بحث مهم تو این کار اینه که بعضی سؤال‌ها فقط در مورد یه موضوع هستن (مثلاً فقط بورسیه)، اما بعضیاشون چندتا حوزه رو هم‌زمان لازم دارن، مثل پذیرش و ویزا با هم. به همین خاطر، بررسی کیفیت جواب مدل‌ها پیچیده‌تر میشه.
حالا چرا این مطالعه مهمه؟ چون هدفش سه تا چیزه:
- بفهمیم الان کدوم مدل‌ها برای مشاوره دانشجوی خارجی قابل اعتمادترن.
- بفهمیم کجاها این مدل‌ها سوتی میدن، مثلاً جواب ناقص یا بی‌ربط میدن یا شایعه‌سازی می‌کنن.
- و اینکه یه روش واقعا کاربردی و قابل استفاده به دیگران بدن تا قبل از استفاده جدی از LLM تو مشاوره آموزشی، خودشون این مدل‌ها رو خوب چک کنن و مطمئن شن که مناسبا.
توی نتیجه این مطالعه، مدل‌ها رو با هم مقایسه کردن تا ببینن دقیقاً کی بهتره و کجاها باید بیشتر حواسمون رو جمع کنیم که مدل اشتباهی جواب نده یا حرف اضافه نزنه. موضوع faithfulness هم بررسی شده بود (یعنی وفاداری به شواهد و اطلاعات واقعی) و answer relevance (یعنی جواب مرتبط و کاربردی باشه) تا مطمئن شن خروجی مدل واقعاً به درد دانشجو می‌خوره و صرفاً یه مشت حرف قشنگ اما بی‌پشتوانه نیست.
در کل، این کار نشون میده هرچند LLMها می‌تونن کمک بزرگی باشن، ولی باید حواسمون جمع باشه و هر جوابی رو همین‌جوری قبول نکنیم. مخصوصاً تو مسیری مثل مهاجرت تحصیلی که هر اشتباه کوچیک می‌تونه دردسر درست کنه! پس حتما اگر دنبال چنین مشاوره‌هایی هستی، گوشه ذهن داشته باش که مدل‌های هوش مصنوعی هم گاهی اشتباه می‌کنن یا چیزی رو اضافه می‌کنن که اصلاً صحت نداره! همین باعث شده تو دنیای آموزش، ایده ارزیابی دقیق مدل‌ها و کنترل خروجی‌ها خیلی مهم بشه.
منبع: +
