چقدر این هوش مصنوعی‌ها شبیه ما آدم‌ها رفتار می‌کنن؟! خلاصه‌ای از ۶۶ هزار گفتگو با مدل‌های زبانی بزرگ

Fall Back

خب بچه‌ها بذارین مستقیم بریم سر اصل مطلب! خیلیا این روزا فکر می‌کنن هوش مصنوعی (که بهش میگن AI) وقتی جای آدم‌ها، مثلا برای شبیه‌سازی رفتار مصرف‌کننده یا تولید داده‌های مصنوعی به کار میره، واقعا می‌تونه شبیه اون آدم‌ها عمل کنه. مثلاً فرض کنین شرکت‌ها به جای اینکه از آدمای واقعی داده جمع کنن، میان از AI استفاده می‌کنن تا رفتار و انتخاب‌های آدمارو پیش‌بینی کنن یا حتی داده تولید کنن!

اما آیا واقعا این هوش مصنوعی‌های جدید مثل ChatGPT که بهشون مدل‌های زبانی بزرگ (LLM) میگن – یعنی مدل‌هایی که می‌تونن کلی متن رو مثل آدم بنویسن – به اندازه کافی شبیه ما آدم‌ها رفتار می‌کنن؟ یه گروه از محقق‌ها اومدن و توی ۱۰ تا آزمایش (که کلی هم گفتگو انجام دادن، حدود ۶۶ هزار تا!) رفتن پیِ همین سوال.

داستان اینطوریه: یه سری تمایل‌ها و خطاهای ذهنی معروف بین آدم‌ها هست که بهشون Bias و Heuristic میگن، یعنی خطاهایی که مغزمون ناخودآگاه مرتکب میشه یا راه‌های میانبرِ ذهنیه که همیشه هم درست جواب نمیده. این گروه اومدن بررسی کنن ببینن آیا AI هم همین خطاها رو شبیه آدما تکرار می‌کنه یا نه.

حالا نتیجه‌ها چی شد؟ چهار نوع رفتار جالب دیدن:

۱. بعضی وقت‌ها این مدل‌های AI اون خطاهایی که بین آدما رایجه رو اصلاح یا کمتر می‌کنن! یعنی از ما واقعا منطقی‌تر میشن.
۲. بعضی وقتا بالعکس، همین خطاها رو بیشتر میکنن و حتی قوی‌تر نشون میدن.
۳. یه حالت عجیب‌تر اینکه گاهی دقیقا برعکس خطایی که بین آدما هست رو نشون میدن! یعنی جوری جواب میدن که هیچ آدمی معمولا اونجوری فکر نمی‌کنه.
۴. و واسه مورد چهارم، کلی بی‌ثباتی دیدن: گاهی یه مدل زبانی تو دو زمان مختلف جواب متفاوت میده، یا مدل‌های مختلف جواباشون با هم فرق داره، یا حتی اگه دو گروه مستقل بیان همون آزمایش رو با یه مدل انجام بدن، باز ممکنه نتیجه‌ها با هم متفاوت بشه! اینو بهش میگن inconsistency یعنی عدم ثبات.

بطور خلاصه، این بی‌ثباتی و رفتارهای غیرانسانی می‌تونه مشکل‌ساز بشه، مخصوصاً وقتی مدل‌های هوش مصنوعی رو برا شبیه‌سازی و پیش‌بینی رفتار آدم‌ها تو بازار یا تحقیقات مصرف‌کننده به‌کار می‌گیرن. چون اگر AI قراره جایگزین یا مکمل ما بشه، باید رفتاراش تا حد خوبی شبیه آدمای واقعی باشه – اما این تحقیق نشون میده که همیشه هم اینجوری نیست.

در اصل، این مقاله میگه منابع این خطاها و تمایل‌ها (Bias) همیشه ریشه در انسان ندارن. یعنی فقط چون داده‌مون بر اساس رفتار آدماست، نباید فکر کنیم AI هم درست شبیه اون‌ها عمل می‌کنه. این یافته‌ها باعث شده بحث درباره اینکه تو چه کارایی میشه واقعا AI رو جایگزین آدم‌ها کرد جدی‌تر پیگیری بشه. خلاصه اینکه هنوز جای کار زیاده تا هوش مصنوعی واقعا تبدیل به یه آدم واقعی مجازی بشه!

منبع: +