هوش مصنوعی قراره کار مرور مقالات علمی رو آسون کنه؟! بررسی سیستم ISLaR 2.0

اگه تا حالا کسی رو دیدین که باید کلی مقاله علمی رو بخونه و تک‌تک اطلاعاتُ ازشون بکشه بیرون، حتما می‌دونین چه کار وقت‌گیر و خسته‌کننده‌ایه. این جریانه بهش میگن “بررسی نظام‌مند متون” یا همون SLR (Systematic Literature Review) که تو حوزه سلامت خیلی اهمیت داره و کلی وقت و انرژی می‌بره.

حالا جدیداً کلی سروصدا سر هوش مصنوعی (AI) راه افتاده که می‌تونه خیلی از این کارا رو خودش انجام بده و مثل یه دستیار دقیق و زرنگ کنارتون باشه! این وسط، مدل‌های زبانی بزرگ یا همون LLMها (Large Language Models: یعنی هوش مصنوعی‌هایی که می‌تونن مثل آدم‌ها متن بنویسن و بخونن) حسابی گل کردن، چون تو خوندن و پردازش متون عالی ظاهر شدن.

توی یکی از بررسی‌ها، دانشمندا اومدن یه سیستم هوش مصنوعی به اسم ISLaR 2.0 (Intelligent Systematic Literature Review) رو تست کردن. ببینم واقعاً این ربات می‌تونه کار کارشناسای حرفه‌ای رو انجام بده یا فقط ادعاست؟ تحقیق رو هم درباره موضوع «اثرگذاری هزینه‌ای واکسن پنوموکوک بزرگسالان» انجام دادن (پنوموکوک یه نوع باکتریه که باعث بیماری‌های تنفسی میشه).

حالا بیاید ببینیم نتیجه چی شد:

سیستم ISLaR 2.0 تو خوندن مقالات و جدا کردن داده‌ها دقت خیلی خوبی نشون داد. مثلاً تو غربالگری مقاله‌ها (یعنی تشخیص اینکه کدوم مقاله به درد تحقیق می‌خوره و کدوم نه) دقتش 0.87 و دقیق بودنش 0.88 بوده (اینا همش اعداد بین 0 و 1 هستن و هرچی به 1 نزدیک‌تر باشه بهتره). واسه استخراج داده‌ها، دقت 0.86 و دقیق بودن 0.86 ثبت شد. جالب‌تر اینکه حساسیتش (Sensitivity، یعنی اینکه چقدر خوب موارد درست رو پیدا می‌کنه) هنگام غربالگری 0.91 و تو استخراج داده، یه رکورد عجیب زده: 0.98! یعنی تقریبا همه موارد مهم رو پیدا می‌کرده.

ولی خب هرکس بی‌نقص نیست، این هوش مصنوعی هم مشکل خودش رو داره. تو شناسایی موارد اشتباه، یا همون ویژگی Specificity (یعنی قدرت تشخیص داده‌های غلط یا نامرتبط)، مخصوصاً وقتی داده‌ها تو جدول بودن، یکم کم آورده: برای غربالگری عددش 0.79 و تو استخراج از جدول‌ها فقط 0.42 بوده. یعنی هنوز یه جاهایی داده غلط یا اضافه رو هم قبول می‌کنه.

اما یه چیز باحال: این سیستم بیشتر از 90 درصد زمان لازم برای غربالگری و بررسی مقالات (چه چکیده‌ها چه متن کامل) رو کاهش میده! یعنی اگه یه کارشناس فرضی تو 10 ساعت می‌تونست یه عالمه مقاله رو بخونه و اطلاعات جمع کنه، AI همون کار رو تو کمتر از ۱ ساعت تموم می‌کنه.

در کل، معلومه این هوش مصنوعی ISLaR 2.0 می‌تونه کلی بار از دوش پژوهشگرا برداره و کارشون رو سریع‌تر کنه. البته هنوز ایرادهایی داره و باید روش کار شه تا کامل بی‌نقص شه. اما اگه توسعه پیدا کنه، فکر کنین چقدر سریع‌تر میشه تحقیقات علمی رو جلو برد!

پس دفعه بعد اگه دیدین یه نفر با کمک هوش مصنوعی مقالات علمی رو تحلیل می‌کنه و اطلاعات مهم رو بیرون می‌کشه، بدونین این سیستم‌ها واقعاً دارن تلاش می‌کنن کار آدما رو آسون‌تر کنن؛ هرچند هنوز کاملاً جای انسان رو نتونستن بگیرن!

منبع: +