خب بچه‌ها، بیاین درباره یه کار جالب حرف بزنیم که ربط داره به مدل‌های زبانی بزرگ یا همون LLMها (یعنی مدل‌هایی که مثلا چت‌بات‌ها روشون ساخته می‌شن و می‌تونن متن بسازن). این مدل‌ها الان انقدر معروف و پرکاربرد شدن، مخصوصا تو کارای حساسی مثل قضاوت، آموزش، سلامت و حتی امور مالی. حالا بحث سر اینه: آیا این مدل‌ها واقعاً منصف هستن یا نه؟ یعنی «عدالت» رو رعایت می‌کنن؟ این یه قضیه خیلی مهمه، چون مثلاً اگه توی دادگاه یا درباره وام بانکی تصمیم‌گیری کنن و انصاف نداشته باشن، ممکنه به خیلیا ضرر برسه.
حالا یه تیم اومده یه روش خیلی باحال و شفاف درست کرده که بشه منصف بودن مدل‌های زبانیِ متن‌باز رو دقیق و قابل اعتماد بررسی کرد. حواست باشه، متن‌باز یعنی هر کسی بتونه کد مدل رو ببینه و بررسی کنه. اینجا یه کار خفن انجام دادن: همه چی رو گذاشتن تو بلاکچین (همون فناوری‌ای که تو بیت‌کوین و ارزهای دیجیتال هست و اساسش اینه که اطلاعات هیچ جوره قابل تغییر نیست و همه می‌تونن روش نظارت کنن).
خب چطوری این کار رو کردن؟ اومدن با استفاده از قرارداد هوشمند (Smart Contract یعنی کدهایی که تو بلاکچین اجرا می‌شن و هیچ احدی نمی‌تونه تقلب یا دستکاری‌شون کنه) و پروتکل اینترنت کامپیوتر (ICP، یه نوع بلاکچینه که مخصوص قراردادهای هوشمنده) یه سیستم ساختن که توش داده‌ها، دستورات آزمایش، و نتیجه‌ها کاملاً تو بلاکچین ذخیره می‌شن. هر کسی می‌تونه بیاد چک کنه ببینه واقعاً چه داده‌ای امتحان شده، چه سوالی پرسیده شده، و مدل چی جواب داده.
برای تست کردن انصاف، اومدن چندتا از مدل‌های معروف رو امتحان کردن. مثلاً مدل‌های Llama (مدل متنی خیلی محبوب)، DeepSeek و Mistral. آزمون رو هم با دیتاست PISA انجام دادن (PISA یه سری اطلاعاتیه دربارهٔ عملکرد درسی دانش‌آموزها که کلی کشور توش شرکت می‌کنن و برای سنجش عادلانه بودن مدل‌ها فوق‌العاده‌ست). معیارهای سنجش هم دوتا چیز علمی بوده: پاریتِ آماری (Statistical Parity) یعنی میزان برابری در نتایجِ گروه‌های مختلف، و فرصت برابر (Equal Opportunity) یعنی مثلاً همه گروه‌ها یه شانس برابر داشته باشن.
یه کار باحال دیگه انجام دادن: اومدن نگاه کردن ببینن آیا این مدل‌ها تو واژه‌سازی و جملات‌شون سوگیری اجتماعی دارن یا نه؛ با یه دیتاست دیگه به اسم StereoSet (یعنی مجموعه‌ای از تیپ‌های اجتماعی و سوگیری‌ها). این آزمون رو هم روی بلاکچین گذاشتن تا کامل شفاف باشه.
ولی هنوز کار تموم نشد! بچه‌ها گفتن بیاین مدل‌ها رو چندزبانه هم چک کنیم، ببینیم انصافشون تو زبان‌های مختلف چه فرقی می‌کنه. مثلاً انگلیسی، اسپانیایی و پرتغالی رو با معیار Kaleidoscope (یه نوع تست چندزبانه که اختلافات بین زبان‌ها رو می‌سنجه) بررسی کردن و معلوم شد انصاف مدل‌ها تو زبون‌های مختلف ممکنه فرق کنه و حتی سوگیری داشته باشه.
آخر داستان این‌که همه کدها و نتیجه‌هاشون رو کاملاً عمومی و متن‌باز گذاشتن، تا هرکسی دلش خواست بیاد چک کنه، از تقلب و دستکاری کسی نترسه و بشه ادامه‌دار وضعیت انصاف مدل‌ها رو زیر ذره‌بین گرفت. این یعنی هر نسخه جدید مدل اومد، دوباره میشه این تست رو براش اجرا کرد و دید انصافش بهتر شده یا بدتر.
جمع‌بندی؟ این کار داره یه مسیر شفاف، سریع و قابل اعتماد پیش پای ما می‌ذاره که ببینیم مدل‌های هوش مصنوعی انصاف دارن یا نه – مخصوصاً وقتی به عنوان دستیار یا قاضی یا دکتر بهشون تکیه می‌کنیم. خلاصه که تکنولوژی رو آوردن وسط تا دیگه کسی نتونه زیرآبی بره!
منبع: +
