یه وقت‌هایی هوش مصنوعی قراره درباره چیزای مهم و تصمیمات حساس نظر بده. مثلاً همون مدل‌های زبانی بزرگ یا همون LLMها (یعنی مدل‌هایی مثل ChatGPT که می‌تونن کلی متن تولید کنن و مثل آدم باهات حرف بزنن). خب، این جور وقتا همه می‌خوان مطمئن شن که نتیجه‌هایی که این هوش مصنوعی‌ها می‌دن واقعاً با ارزش‌ها و نظرای آدما هماهنگه — به این کار می‌گن Alignment یا همسو کردن هوش مصنوعی با ارزش‌های انسانی.
اما مشکل اینجاس که خیلی از این مدل‌های قوی رو فقط چند تا شرکت بزرگ، اونم توی سرورهای خودشون نگه می‌دارن و با API مخصوص خودشون می‌دن بیرون (API یه جور درگاه ارتباطیه که برنامه‌نویس‌ها به کمکش به مدل‌ها دسترسی دارن). این یعنی بقیه نمی‌تونن راحت و شفاف روش آزمایش کنن، یا حتی مدل خودشونو تغییر بدن.
حالا، یه تیم اومدن یه ایده جالب اجرا کردن: گفتن بیا به‌جای اینکه یه مدل رو تنها بذاریم تصمیم بگیره، چند تا مدل متن‌باز و محلی راه بندازیم، بذاریمشون توی یه جمع و بگیم با همدیگه بحث کنن. به این کار می‌گن Ensemble Debate؛ یعنی یه جور جمع مدل‌ها که هرکدوم نظر می‌ده و بعد با هم بحث و استدلال می‌کنن تا به یه نتیجه بهتر برسن.
توی این پژوهش، ۱۵۰ تا مناظره مختلف انجام دادن توی ۱۵ سناریوی متفاوت و با پنج مدل گروهی/Ensemble مختلف. هر بار کیفیت پاسخ‌ها رو روی یه مقیاس ۷ مرحله‌ای سنجیدن. نتیجه چی شد؟ مدل‌های گروهی تونستن به طور متوسط امتیاز ۳.۴۸ رو بگیرن، درحالی‌که مدل تکی فقط امتیاز ۳.۱۳ داشت. یعنی گروه‌بندی مدل‌ها به شکل قابل توجهی عملکرد رو بهتر کرد!
اگه بخوایم دقیق‌تر بشیم، بزرگ‌ترین پیشرفت توی بخش «عمق استدلال» بود (۱۹.۴٪ بهتر شد) و «کیفیت بحث و جدل» (۳۴.۱٪ بهتر!). توی بخش‌هایی مثل «راستی و صداقت» (truthfulness) هم این گروه‌ها ۱.۲۵ نمره بهتر از تکی‌ها بودن، و توی «تقویت انسانی» (human enhancement یعنی کمک به انسان) هم ۰.۸۰ امتیاز بیشتر گرفتن.
خلاصه اینکه، الان با این روش Ensemble Debate می‌شه مدل‌های هوش مصنوعی رو شفاف‌تر، باحال‌تر و منصفانه‌تر ارزیابی کرد. ضمن اینکه این تیم همه چی رو باز و قابل دسترسی گذاشته؛ یعنی کد، نمونه سؤال‌ها و دیتاست مناظر‌ه‌ها رو گذاشتن تا هرکسی بتونه خودش این آزمایش‌ها رو اجرا کنه، تغییر بده و حتی به نتایج بهتری برسه.
خلاصه اگر دوست داری هوش مصنوعی حالیش بشه ارزش‌های ما چیه و تصمیم‌هاش رو همفکرتر با آدما بگیره، این تحقیق مسیر رو خیلی جالب‌تر و عادلانه‌تر کرده! ربات‌ها اگه با هم بحث کنن، آخر سر نظر بهتری می‌دن! 😉
منبع: +
