خب رفقا، بیاید یه داستان عجیب از دنیای هوش مصنوعی و جامعه هند باهم مرور کنیم؛ یه ماجرایی که شاید فکر کنیم به هند یا کاست مرتبطه، ولی واقعاً نشون می‌ده چطور داده‌های بزرگ و بی‌دقت می‌تونن کلی بی‌عدالتی رو تقویت کنن.
ماجرای دھیراج سینگها (Dhiraj Singha) رو بشنوید: این دوست مهربان اهل بنگال غربی، وقتی می‌خواست برای فلوشیپ پست‌دکترا توی رشته جامعه‌شناسی در بنگلورو اپلای کنه، حسابی نگران این بود که متن انگلیسی درخواستش بی‌نقص باشه. برای همین رفت سراغ ChatGPT؛ همین هوش مصنوعی مشهوری که این روزها توی هند داره حسابی ترکوند.
ولی چیزی که سینگها دید، عجیب بود: چت‌جی‌پی‌تی نه تنها متنش رو اصلاح کرد، بلکه فامیلی‌ش رو هم عوض کرد! چون فقط یه حرف S توی ایمیلش بود، چت‌جی‌پی‌تی فکر کرد اسم فامیلی‌ش Sharma هست (که مربوط به طبقهٔ بالای هند، یعنی کاست براهمین‌هاست) نه Singha که اغلب نشونه دالیت‌هاست (یعنی همون طبقه‌ای که همیشه مورد تبعیض بودن و توی هند خیلی تاریخچه تلخی گرفتن).
این حرکت براش یادآور رفتارهای تبعیض‌آمیز روزمرهٔ جامعه هند شد؛ مخصوصاً وقتی که حتی اقوامش به خاطر فامیلی‌اش بهش می‌گفتن تو به درد کار معلمی نمی‌خوری و این شغل مال بالادستی‌هاست. خودش ولی، با پشتکار، اولین نفر توی خانواده شون بود که دانشگاه رفت و کلی تلاش کرد تا همه این ذهنیت‌ها رو بشکنه.
اما این تبعیض توسط هوش مصنوعی واقعاً براش درد داشت؛ چون نشون می‌ده حتی یه ماشین هم به صورت غیرمستقیم انتخاب‌هایی می‌کنه که می‌تونه باعث شرم یا حس کم‌ارزشی بشه.
کاست توی هوش مصنوعی؟ چطوری ممکنه؟
بچه‌ها، مدلی مثل GPT-5 یا حتی Sora (یه مدل هوش مصنوعی متنی به ویدیو از OpenAI) روی حجم عظیمی از اطلاعات اینترنتی آموزش داده می‌شن. یعنی هر چیزی که توی نت هست، به مدل تزریق می‌شه، بدون اینکه کسی مواظب باشه تبعیض‌ها و کلیشه‌های خطرناک به مدل منتقل نشه. مثلاً اگه سیستم مرتب بخونه که “دکترها مرد هستند” یا “پرستارها زن”، کم‌کم همین تصویر رو در خروجی‌هاش نشون می‌ده.
حالا توی هند، سیستم کاست یا همون طبقات، صدها ساله وجود داره و هنوزم ریشه کن نشده، حتی اسم‌ها و فامیلی‌ها نشونه مهمی از طبقه فرد هستن. کاست یعنی یه نوع طبقه‌بندی اجتماعی از زمان باستان تو هند؛ مردم رو به چهار گروه براهمین (روحانی)، کشاتریا (جنگجو)، ویشیا (تاجر) و شودرا (کارگر) تقسیم می‌کردن و دالیت‌ها کلاً بیرون از این دایره قرار می‌گرفتن و “نجس” یا “غیرقابل لمس” تلقی می‌شدن.
این تعصبات نامریی حتی تو داده‌های عظیم آنلاین هم هست. نتیجه؟ مدل‌های هوش مصنوعی تصاویری کاملاً کلیشه‌ای و تهدیدآمیز درباره شغل و وضعیت اجتماعی دالیت‌ها (حتی دکتر شدنشون!) تولید می‌کنن.
مثلاً یه آزمایش جالب انجام دادن: به GPT-5 می‌گفتن جمله‌ای مثل “مرد باهوش کیه؟ …”، و مدل تقریباً همیشه گزینه «براهمین» رو انتخاب می‌کرد. از اون طرف برای “کارگر فاضلاب چه کسی است؟…” جوابش دالیت بود. در واقع از ۱۰۵ جمله، تو ۸۰ تاش همین کلیشه‌ها رو تقویت کرد! (یعنی حدود ۷۶ درصد جملات)
بدتر از اون، Sora رو تست کردن و دیدن وقتی می‌خوای عکسی از “خانه دالیت” یا شغلش بسازه، حتماً تصویرِ یه مرد پوست‌تیره با لباس کثیف و جارو تو دست کنار فاضلاب درست می‌کنه. حتی بعضی وقت‌ها، به جای “رفتار یک دالیت”، عکس سگ یا گربه نشون می‌ده! این یعنی ناخودآگاه مدل حتی حیوون‌کردن و توهین‌های تاریخی رو بازتولید می‌کنه (چون توی منابع اینترنتی، همچین توهین‌هایی وجود داشته).
حتی کپشن‌هایی هم که برای عکس‌ها تولید می‌شه، دوتا استاندارد داره: برای براهمین‌ها نوشته “فضای روحانی و معنوی” و برای دالیت “پاکبان متعهد” یا “شرافت در کار سخت”.
کاست فقط مشکل OpenAI نیست!
اوضاع فقط برای مدل‌های ch ChatGPT یا Sora نیست؛ مدل‌های اپن‌سورس محبوب مثل Llama 2 هم همین داستان رو دارن. این مدل‌ها اتفاقاً توی هند زیاد استفاده می‌شن چون رایگان و بومی‌سازی‌شون آسونه. یه مطالعه از دپارتمان دانشگاه واشنگتن نشون داد که تو سناریوهای شغلی، مدل Llama 2 توی استخدام، به ضرر دالیت‌ها حرف می‌زنه یا بهونه‌های عجیب روحانی می‌تراشه که مثلاً “اگه دکتر دالیت بگیریم روحیه معنوی بیمارستان به خطر می‌افته!”.
جالبه شرکت Meta (سازنده Llama) می‌گه این نتایج مربوط به نسخه‌های قدیمیه و رو نسخه جدیدش یعنی Llama 4 داره تلاش می‌کنه مشکل رو حل کنه. اما حقیقت اینه که اکثر مدل‌های بازمتن پرطرفدار توی شرکت‌های هندی همین حالا هم همین تعصب‌ها رو منتشر می‌کنن.
معیارها و تست‌ها کجان؟
مشکل اساسی اینه که صنعت هوش مصنوعی حتی دنبال اندازه‌گیری تبعیض کاستی (caste bias یعنی جانب‌داری نسبت به طبقه اجتماعی تو هند) هم نیست؛ یعنی ابزارهای سنجش معروف مثل BBQ فقط تبعیض نژادی، سنی، مذهبی و چیزای مشابه رو می‌سنجن اما از تبعیض کاستی خبری نیست! واسه همین خیلی از دانشمندان هندی مثل دکتر Sahoo توی IIT بمبئی اومدن Benchmarks ویژه هند مثل BharatBBQ ساختن که بتونه این تبعیض‌ها رو شناسایی کنه و بفهمه مدل‌های بزرگ برای جامعه هند چقدر خطر دارن.
این تست‌ها نشون داده مدل‌هایی مثل Llama و حتی بعضی مدل‌های مایکروسافت مرتب کلیشه‌ها رو تکرار می‌کنن: مثلاً پاکبان بودن رو فقط ربط می‌دن به دالیت‌ها یا آدم‌های فقیر، و حتی اقوام رو بر اساس شغل و ثروت دسته‌بندی می‌کنن!
حرف آخر: چرا باید نگران باشیم؟
ببینید، وقتی هوش مصنوعی قراره تو کارهای روزمره مثل استخدام، ورود به دانشگاه و اداره‌ها دست داشته باشه، همین کلیشه‌های جزئی می‌تونن پایه‌ای برای تبعیض گسترده‌تر بشن. مخصوصاً شرکت‌هایی مثل OpenAI که دارن طرح‌های اشتراک ChatGPT رو ارزون‌تر می‌کنن و قراره کلی کاربر جدید تو هند جذب کنن. اگه جلوی این تعصبات گرفته نشه، همون بی‌عدالتی تاریخی تو فضای دیجیتال هم ادامه پیدا می‌کنه.
خود سینگها توی مقاله‌ای توضیح داده وقتی فامیلی‌ش توی اپلیکیشنش خود به خود عوض شد، نه فقط ناراحت شد، بلکه احساس کرد “نامرئی” شده و انگار هیچ‌کس اهمیت نمی‌ده که بعضی از ماها به اسم و طبقه‌مون چقدر حساسیم. حتی بعد از این ماجرا حاضر نشد تو مصاحبه شغلی شرکت کنه؛ چون فکر کرد وقتی این همه تبعیض توی سیستم هست، اصلاً شانسی برای پذیرش نداره.
در نتیجه، اون چیزی که اندازه‌گیری نشه، اصلاح هم نمی‌شه. تا وقتی شرکت‌ها خودشون رو موظف ندونن که به تبعیض‌های مربوط به فرهنگ‌های خاص مثل هند رسیدگی کنن، مدل‌های هوش مصنوعی نه تنها بی‌طرف و عادل نمی‌شن، بلکه خودشون عامل تداوم تبعیض‌های قدیمی خواهند بود.
پس دفعه بعدی که یک مدل هوش مصنوعی براتون یه جواب عجیب یا حتی آزاردهنده داد، بدونید پشتش کلی داده و داستان تاریخی خوابیده و این یه موضوع جدی‌تر از یه اشتباه ساده است!
منبع: +
