این روزا همه جا صحبت از هوش مصنوعی و مدلهای زبانی بزرگه (LLMs – یعنی همین ChatGPT و رفقاش که بلدن کلی متن از خودشون بچینن!). حالا جالب اینه که این مدلها، دارن کمکم وارد حوزه نقد و بازبینی مقالات علمی (همون Peer Review معروف) هم میشن. یعنی چی؟ یعنی بعضی وقتا به داورها کمک میکنن تا متن نقدشون رو قشنگتر و درستتر بنویسن. ولی خب این وسط دغدغههایی هم هست. مثلاً اینکه: آیا این کمک واقعاً فقط محدود به اصلاح متن میشه یا بعضیا از هوش مصنوعی واسه نوشتن کل نقد استفاده میکنن؟ اگه اینجوری باشه، دیگه نمیشه به اعتبار نقدهای علمی اطمینان کرد.
مشکل اصلی اینه که ابزارهای فعلیِ کشف متنهای هوش مصنوعی، بیشتر فقط به سبک نوشتن نگاه میکنن. یعنی تمرکزشون رو جزئیات ظاهری یا همون Style هست، مثلاً لحن یا ریتم جملات متن. برداشتن همین سبک خیلی راحت با انواع روشها مثل Paraphrasing – یعنی بازنویسی جملات با کلمات دیگه – دور زده میشه. آخرش هم نتیجه این میشه که کلی از متنهایی که فقط یه کم هوش مصنوعی توشون به نویسنده کمک کرده، بیخودی مشکوک شناخته میشن، ولی در عوض متنهای هوش مصنوعی که خیلی ماهرانه «انسانی» شدن، از زیر دستشون درمیره!
اینجا بود که محققها گفتن: “صبر کنید، بیاید یه تغییر اساسی بدیم!” راهحلشون اسم بامزهای داره: CoCoNUTS. این یعنی به جای گیر دادن به استایل و ظواهر متن (که خیلی راحته جاش رو عوض کرد)، بریم سراغ خودِ محتوا و ببینیم واقعاً چی تو متن نوشته شده.
توی CoCoNUTS چی کار میکنن؟ اونا یه دیتاست (مجموعهداده) خیلی دقیق جمع کردن از نقدهایی که با کمک هوش مصنوعی نوشته شدن. نکته جالب اینه که این دیتاست شش حالت مختلف همکاری آدم و هوش مصنوعی رو پوشش میده، مثلاً حالتهایی که فقط در حد کمی کمک گرفتن تا کامل، یا اینکه اصلاً کل نقد رو هوش مصنوعی درآورده.
علاوه بر این، محققها یه تشخیصدهنده جدید ساختن به اسم CoCoDet. این یه مدل یادگیری چندوظیفهای (Multi-task learning) هست – یعنی مدلی که همزمان چند کار مختلف رو یاد میگیره – که تمرکزش خیلی بیشتر روی حرف اصلی و محتوای نقده تا سبک نوشتنش. هدف اینه که واقعا بفهمه آدم پشت این نقد بوده یا مدل زبان هوش مصنوعی اون رو نوشته.
خلاصه که با این روش جدید، قراره تشخیص نقدهای هوش مصنوعی دقیقتر، عادلانهتر و قابل اعتمادتر بشه، به خصوص تو دنیای واقعی که روز به روز بیشتر با مدلهای زبانی سر و کار داریم.
اگر دلتون میخواد کدها و دادههای این پروژه رو ببینین یا خودتون تستش کنین، حتما یه سر به این آدرس بزنین:
https://github.com/Y1hanChen/COCONUTS
در کل، داستان CoCoNUTS اینه: اگر قبلاً تشخیص نقد هوش مصنوعی و انسانی، بیشتر یه حدس و گمان بود، با این روش جدید میشه خیلی بهتر فهمید واقعاً کی نقد رو نوشته و از عدالت و کیفیت علمی هم بیشتر دفاع کرد.
منبع: +
