تا حالا شده با یه چتبات مثل ChatGPT یا Claude یا حتی Llama صحبت کنی و حس کنی شاید یه ذره جانبدارانه جواب میده؟ یا مثلاً فکر کنی شاید یه جورایی نسبت به بعضی گروهها یا نژادها بیعدالتی داره؟ خب، این دغدغه فقط مال تو نیست!
این روزا هوش مصنوعی و مخصوصاً مدلهای زبون بزرگ (LLM) – که دقیقاً همین چتباتها رو میسازن – هر روز دارن تو زندگیمون بیشتر جا باز میکنن. از پاسخ دادن به سوالای روزمره گرفته تا حتی کمک به استخدام توی شرکتها، پذیرش توی دانشگاه، تأیید کردن وام توی بانکها یا حتی مثلاً درمانهای روانشناسی (آره، بعضیارو حسابی جا انداختن!).
حالا این وسط یه سؤال اساسی وجود داره: آیا این چتباتها توی تعامل با آدما بیطرف (منصفانه) رفتار میکنن، یا بالعکس، همون نگاههای اشتباه و تعصبات انسانی رو دوباره و شاید حتی بیشتر به کار میگیرن و منتقل میکنن؟ منظور از «bias» همون جانبداری یا پیشداوری ناآگاهانهست که گاهی آدما خودشون هم متوجهش نیستن.
اگه واقعاً چتباتها چنین گرایشهایی داشته باشن، پس خیلی مهمه که بتونیم این جانبداریها رو درست و دقیق اندازهگیری کنیم. اصلاً چطوری بفهمیم که یه چتبات نسبت به یه گروه خاص پاسخ منفیتری میده؟ یا آیا تو توصیههایی مثل استخدام یا پذیرش دانشجو، احتمالاً به نفع یه نژاد خاص فعالیت میکنه؟
اینجا جاییه که مقالهای که امروز دربارش صحبت کردیم، وارد میشه! نویسندهها اومدن یه فریمورک حسابی اصولی (یعنی یه چارچوب منظم و روشن) معرفی کردن تا بتونیم ابزارهایی طراحی کنیم برای سنجیدنِ اینکه چتباتها چقدر “بر اساس روانسنجی” (psychometric) جانبداری دارن یا نه. یعنی دقیقاً قراره مثل تستهای روانشناسی که تعصبات پنهان رو نشون میدن، اینجا هم رفتار چتباتها رو بررسی کنیم و اگر تعصب نژادی یا جانبداری دیگهای توش باشه، بتونیم کشفش کنیم.
پس خلاصهاش این میشه که تو این مقاله، قرار نیست فقط بگیم که “ای بابا چتباتا اگه یه ذره هم جانبدار باشن خیلی بده!”؛ بلکه حرف اصلی اینه که باید بتونیم دقیقاً اندازه بگیریم که چقدر این مشکل وجود داره. و برای این کار، فرمول و روش اصولی طراحی این ابزار سنجش رو معرفی کردن!
توی دنیا که هر روز هوش مصنوعی نقش بیشتری تو زندگیمون پیدا میکنه، اینجور بررسیها واقعاً کمک میکنن که مطمئن بشیم فناوری ازمون عقب نمیمونه و عدالت رو زیر پا نمیذاره.
پینوشت: اصطلاحاتی مثل “مقیاس روانسنجی” (psychometric measures) یعنی همون تِستها و ارزیابیهایی که رفتار و تعصب رو بررسی میکنه. Large Language Model یا همون LLM هم به مدلای خیلی عظیم یادگیری زبانی مثل همین چتباتا میگن که با یه عالمه داده آموزش دیدن و میتونن مثل آدم جواب بدن!
منبع: +
