حتماً تا حالا اسم چت‌بات‌های هوش مصنوعی مثل ChatGPT رو شنیدین که باهاشون خیلی راحت میشه ازشون سؤال پرسید و جواب گرفت، مخصوصاً سؤالای علمی و حتی پزشکی. اما یه نکته مهم و بامزه درباره این ابزارها هست که شاید ندونین: خیلی وقتا این چت‌بات‌ها برمی‌گردن به مقالات علمی‌ای که در اصل مشکل داشتن و حتی از سمت نشریه‌ها پس گرفته یا به اصطلاح “retracted” شدن (یعنی مقاله رو رسماً باطل کردن چون توش اشتباه یا تقلب بوده یا داده‌ها درست نبوده). ولی خب هوش مصنوعی بعضی وقت‌ها این فرق رو نمی‌فهمه و با استناد به همین مقاله‌های مشکل‌دار، جواب می‌ده!
یه تحقیق جدید که دانشمندانی مثل آقای وێیکوان گو (Weikuan Gu) از دانشگاه تنسی انجام دادن، نشون داد که مثلاً ChatGPT (مدل GPT-4o) به چند تا سؤال مرتبط با تصویرسازی پزشکی جواب داده، اما تو جواباش چند بار به مقالات ریترکت‌شده استناد کرده و فقط تو ۳ مورد به کاربر هشدار داده که این مقاله مشکل‌داره، بقیه رو اصلاً نگفته! یه تحقیق دیگه هم تو تابستون نشون داده که اکثراً این چت‌بات‌ها اصلاً به موضوع ریترکت شدن مقاله اشاره نمی‌کنن. این یعنی هر کی فقط جواب رو بخونه و به خود مقاله اصلی سر نزنه، شاید اصلاً نفهمه این منبع از رده خارج شده.
جالب‌تر اینه که هم مردم عادی برای گرفتن توصیه سلامتی (مثلاً چه بیماری‌ای دارن یا چی براشون خوبه) و هم محققان و دانشجوها دارن روز به روز بیشتر از این ابزارها و مدل‌های ژنراتیو (Generative AI یعنی هوش مصنوعی‌ای که خودش محتوا تولید می‌کنه) استفاده می‌کنن تا مثلاً تحقیق جمع‌بندی کنن یا درباره یه موضوع خلاصه مطلب بگیرن. فقط تو آمریکا همین تابستون بنیاد ملی علوم (US National Science Foundation) حدود ۷۵ میلیون دلار برای توسعه این مدل‌ها پاش داده! ولی خب، اگه منابع هوش مصنوعی دقیق نباشه، قضیه می‌تونه دردسر درست کنه.
یه سری از هوش مصنوعی‌ها مخصوص پژوهش ساخته شدن مثل Elicit، Ai2 ScholarQA، Perplexity و Consensus. مجله MIT Technology Review این ابزارها رو با هم مقایسه کرده و مشخص شده که مثلاً Elicit به ۵ مقاله مشکل‌دار اشاره کرده، Ai2 ScholarQA به ۱۷ تا، Perplexity به ۱۱ تا و Consensus به ۱۸ تا ــ بدون این که هیچ‌جا بگه این مقاله‌ها ریترکت شدن!
بعضی شرکتا مثل Consensus گفتن که تازگیا سعی کردن بانک‌های داده‌شون رو با اطلاعات رد و ابطال مقالات (Retraction داده‌ها؛ یعنی این که چیا ریترکت شدن و چرا) به‌روزرسانی کنن و الان فقط به ۵ مقاله ریترکت‌شده تو جواباش ارجاع میدن. Elicit هم میگه سعی می‌کنه از بانک OpenAlex برای حذف مقالات ریترکت‌شده استفاده کنه، ولی هنوز کامل نکردن. Ai2 هنوز خودش به صورت خودکار مقالات ریترکت‌شده رو شناسایی یا حذف نمی‌کنه و Perplexity هم گفته هیچ‌وقت ۱۰۰٪ تضمین نمی‌کنه جواباش درست باشه!
اما همین بانک داده‌های ریترکت هم کلی مشکل داره. مثلاً Ivan Oransky که سایت Retraction Watch رو راه‌اندازی کرده، میگه هیچ بانک داده جامعی برای مقالات ریترکت نداریم، چون باید تقریبا همه چی دستی چک بشه که واقعاً کار سختیه. از اون طرف نشریه‌ها هم اصلاً یه روش واحد برای اطلاع‌رسانی ریترکت‌شدن مقاله‌ها ندارن. مثلاً برچسب‌هایی مثل “اصلاحیه” (erratum)، “ابراز نگرانی” (expression of concern)، یا “تصحیح” رو با دلایل مختلفی میزنن – گاهی به خاطر ایراد محتوا، اشتباه روش علمی، یا حتی تضاد منافع!
یه مشکل دیگه هم اینکه تحقیقات خیلی وقتا تو سایتای مختلف یا سرورای preprint پخش و پلا میشن، و بعضی نسخه‌هاشون ممکنه هیچ نشونه‌ای از ریترکت شدن نداشته باشن. حتی دیتای مدل‌های هوش مصنوعی هم به روز نیست؛ یعنی اگه مقاله‌ای بعد از تاریخ آخرین آپدیت مدل ریترکت بشه، اون مدل خبر نداره و همچنان ممکنه بهش استناد کنه.
یه راه‌حل که بعضی متخصصا پیشنهاد دادن اینه که مدل‌های هوش مصنوعی بتونن اطلاعات کامل‌تر و شفاف‌تری کنار هر مقاله نشون بدن، مثلاً نقدها یا داوری‌هایی که تو سایت‌هایی مثل PubPeer اومده رو هم ارائه کنن؛ یا لینک به اطلاعیه‌هایی که نشریه‌هایی مثل Nature یا BMJ برای ریترکت منتشر می‌کنن و برای همه بازش گذاشتن.
در نهایت، خود کاربرا هم باید یه جورایی همیشه با دیده تردید به جواب‌های هوش مصنوعی نگاه کنن. هنوز اول راهمون تو استفاده از این ابزارهاست و باید هم دست‌اندرکارها هوشیار باشن، هم کاربرا خودشون دنبال منابع موثق و هشدارها باشن که خدای نکرده گول یه مقاله مشکل‌دار رو نخورن!
منبع: +
