خب بچه‌ها، امروز میخوام باهاتون درباره یه مقاله جالب حرف بزنم که اومده بود توی arXiv و موضوعش خیلی بحث روزه: مدل‌های زبانی بزرگ یا همون LLMها (یه جور هوش مصنوعی مثل GPT-4 که می‌تونه متن بنویسه) چقدر توی شناخت قشرهای مختلف جامعه و ادیان توی هند پیش‌داوری یا سوگیری دارن؟ اصلاً چطور میشه این سوگیری‌ها رو فهمید و آیا میشه راحت حذف‌شون کرد یا نه؟
تا حالا بیشتر تحقیقات روی سوگیری‌های این مدل‌ها بیشتر به کشورها و جوامع شمال جهانی (Global North یعنی کشورای توسعه‌یافته مثل آمریکا و اروپا) و چیزهایی مثل نژاد و جنسیت می‌پرداختن. اما مقاله‌ای که امروز درباره‌ش حرف میزنیم، پا رو فراتر گذاشته و رفته سراغ سوگیری توی موضوعات دینی و طبقاتی (مثل Cast که تو هند خیلی مهمه و یعنی اون تقسیم‌بندی‌هایی که حتی زندگی روزمره رو تحت تاثیر قرار میدن).
این مقاله اومده سراغ GPT-4 Turbo، همون مدلی که خیلی از ماها ازش داریم استفاده می‌کنیم. محقق‌ها به این مدل بالای ۷۲۰۰ دفعه گفتن درباره تنظیم جشن عروسی و اتفاقات مهم زندگی تو هند داستان بنویسه. نکته جذابش اینه که توی دستورهاشون سعی کردن تا جایی که میشه تنوع رو به مدل یادآوری کنن؛ یعنی نوشتن داستان‌هایی درباره آدم‌ها با دین‌ها و قشرهای مختلف.
حالا بریم سر اصل ماجرا: محققین خروجی‌های GPT-4 رو با اطلاعات واقعی سرشماری جمعیت هند مقایسه کردن (یعنی دیدن تو نوشته‌های مدل چه دین‌ها یا قشرهایی بیشتر تکرار شده و چقدر با آمارهای رسمی فرق داره). نتیجه این بود که حتی وقتی هوش مصنوعی رو حسابی تشویق می‌کردن که تنوع قائل شه، باز هم بیش از حد درباره گروه‌های فرهنگی غالب (یعنی اونایی که جمعیت بیشتری دارن و توی قدرتن) می‌نویسه و اقلیت‌ها یا گروه‌های کمتر دیده شده عملاً کمتر حضور دارن.
یه نکته جالب دیگه هم این بود که این مدل‌ها یه جور حالت “winner-take-all” دارن؛ یعنی هر بار که مینویسن، باز برمی‌گردن سراغ گروه غالب و زیاد سراغ تنوع نمی‌رن، حتی بیشتر از میزان پیش‌داوری احتمالی دیتای آموزشیشون! یعنی مشکل فقط اطلاعات ورودی نیست، بلکه خود مدل هم انگار این سوگیری رو تقویت می‌کنه.
حتی وقتی که مدام به مدل فرمان می‌دادن که “آقا جان، بی‌زحمت یکم متنوع‌تر بنویس”، جواب‌های مدل باز هم خیلی فرق خاصی نمی‌کرد و برای اقلیت‌ها سهم جدی قائل نمی‌شد. این یعنی فقط متنوع کردن دیتاهای آموزشی (یعنی اضافه کردن اطلاعات مربوط به گروه‌های مختلف) شاید کافی نباشه؛ لازمِ مدل‌سازی و توسعه خود مدل‌ها هم از پایه خیلی عمیق‌تر و حساس‌تر بشه تا این سوگیری‌ها بشکنه.
مقاله کدها و دیتاست‌شون رو هم گذاشتن که هرکی خواست بررسی کنه (لینک تو گیت‌هاب: https://github.com/agrimaseth/How-Deep-Is-Representational-Bias-in-LLMs).
در کل اگه بخوام ساده و خودمونی جمع‌بندی کنم: مدل‌های هوش مصنوعی فعلی حتی تو موضوعاتی مثل دین و طبقه اجتماعی هم انگار بی‌طرف نیستن و هنوز خیلی کار داریم تا بتونیم این سوگیری‌ها رو واقعا از بین ببریم. پس اگه روزی با هوش مصنوعی سر و کار داشتی و حس کردی داره یه گروه خاص رو زیاد نشون میده یا جا برای بقیه گروه‌ها تنگه، بدون که پشتش یه عالمه قصه و تحقیق هست! 😉
منبع: +
