خب بذارین یه داستان باحال براتون تعریف کنم درباره یه تحقیق خیلی جدید که تو مسابقه CheckThat! 2025 شرکت کرده. این پروژه اسمش TurQUaz هست و درباره اینه که چطوری می‌تونیم بفهمیم یه توییت درباره مطالب علمی حرف می‌زنه یا نه!
ماجرای اصلی اینه: الان توی اینترنت و شبکه‌های اجتماعی، کلی حرف و حدیث درباره علم و تحقیقات علمی رد و بدل می‌شه. ولی خب بعضی وقتا مشخص نیست کی داره واقعاً یه ادعای علمی می‌کنه، کی داره یه تحقیق رو معرفی می‌کنه، و کی فقط یه اسم علمی وسط حرفاش می‌ندازه. واسه همین، چالشی هست به اسم “تشخیص گفتمان علمی” توی توییتر!
حالا این TurQUaz اومده یه راه حل خلاقانه پیشنهاد داده: مدل هیئت مناظره‌ای (Council Debate Method). یعنی اینکه چند تا مدل زبانی بزرگ (Large Language Model یا به اختصار LLM، همون مدل‌های هوش مصنوعی خیلی قوی مثل ChatGPT که می‌تونن متن تولید کنن) رو جمع کرده و با هم گذاشته سر یه میز که بحث کنن! انصافاً ایده جالبه! توضیحش اینجوریه:
اول، مدل‌های مختلفی رو امتحان کردن:
- مناظره دو نفره (Single Debate): دو تا مدل درباره یه موضوع بحث می‌کنن، یکی موافق و یکی مخالف، بعد یه مدل سوم میاد داوری می‌کنه.
- مناظره تیمی (Team Debate): هر طرف مناظره چندتا مدل داره که با همدیگه تو همون تیم همکاری می‌کنن و نظر می‌دن.
- هیئت مناظره (Council Debate): چندتا مدل به عنوان “کارشناس” کنار هم می‌شینن، همه با هم درباره موضوع حرف می‌زنن و سر نتیجه به اجماع می‌رسن. یه مدل هم نقش مدیر جلسه یا تسهیل‌گر رو داره (Chairperson model یعنی همون کسی که بحث رو مدیریت می‌کنه).
طبق تست‌هاشون، مدل هیئت مناظره از بقیه بهتر جواب داده، مخصوصاً وقتی می‌خواستن تشخیص بدن تو یه توییت داره به یه تحقیق علمی اشاره می‌شه یا نه. البته توی تشخیص اینکه واقعاً یه ادعای علمی مطرح شده یا فقط اسامی علمی بیان شده یه ذره نسبت به بقیه مدل‌ها ضعیف‌تر عمل کرده.
یه سری نتایج جالب هم گرفتن:
- تو تشخیص اینکه “این توییت به یه تحقیق علمی رفرنس داده یا نه”، مقام اول رو آوردن. یعنی تو این زمینه واقعاً عالی بودن.
- اما تو “تشخیص اینکه این واقعاً یه ادعای علمی هست یا نه” شدن هشتم از بین ده نفر، و تو “تشخیص اینکه اسامی علمی اومده یا نه” شدن نهم از ده نفر. یعنی هنوز جا داره بهتر بشه.
در مجموع، TurQUaz با این ایده هیئت مناظره خودش، یه راه تازه و جالب برا تشخیص بحث‌های علمی تو توییتر آورده روی میز. حالا شاید این روش رو بشه برای موضوعات دیگه هم تست کرد یا حتی با کمی اصلاح، نتایجش رو بهتر هم کرد.
خلاصه، اگه دفعه بعد دیدین یکی وسط توییتر بحث علمی راه انداخته، بدونین که پشت صحنه ممکنه کلی مدل هوش مصنوعی مشغول مناظره برای تصمیم‌گیری باشن! 😉
منبع: +
