شاید باورتون نشه، ولی هنوز هم ذات‌الریه (یه نوع عفونت ریوی که مخصوصاً برای بچه‌ها خیلی خطرناکه)، سالانه حدود ۷۰۰ هزار تا از بچه‌های زیر ۵ سال رو تو کشورهایی با منابع کم و متوسط (که بهشون LMICs میگن) می‌کشه! خب یکی از بدبختی‌ها اینه که خیلی از این کشورها تجهیزات یا افراد متخصص واسه تشخیص این بیماری رو ندارن. تشخیص ذات‌الریه معمولاً با یه عکس قفسه سینه (CXR) انجام میشه، اما وقتی متخصص رادیولوژی کم باشه یا نباشه، حسابی مشکل درست میشه.
یه تیم دانشجو و پزشک از نیجریه، اخیراً دست به کار شدن و اومدن یه مدل هوش مصنوعی (AI) ساختن که بتونه ذات‌الریه رو تو بچه‌ها فقط از روی عکس قفسه سینه تشخیص بده. حالا هوش مصنوعی، مثلاً همون کامپیوترهای باهوش که می‌تونن الگوها رو تو عکس‌ها یا دیتا پیدا کنن و تصمیم بگیرن چی به چیه. این مدل با هدف کمک به مراکز درمانی کم‌منبع مثل بیمارستان‌های نیجریه ساخته شده.
اما داستان مدل ساختن اینا هم جالبه! اومدن اول از یه دیتا‌ست بزرگ عکس قفسه سینه بچه‌های آمریکایی (یه مجموعه اطلاعات رایگان که کلی عکس توشه) استفاده کردن. تعداد عکس‌ها دقیقاً ۵,۲۳۲ تا بوده که تقسیمش کردن به دو بخش؛ یه بخش واسه آموزش مدل و بخش دیگه واسه تست داخلی:
- عکس‌های نرمال: ۱,۳۴۹ تا
- عکس‌های ذات‌الریه: ۳,۸۳۳ تا (یعنی خیلی بیشتر، واقعاً)
بعد به مدل گفتن که فرق عکس سالم و مریض رو یاد بگیره. تو تست داخلی (همون عکس‌هایی که مدل باهاش آشنا بوده)، نتیجه‌ها واقعاً خفن بوده:
- دقت (accuracy): ۸۶٪
- پرِسِژن (precision): ۰.۸۳ (یعنی چقدر از تشخیص‌های مثبت واقعاً درست بودن)
- ریکال (recall): ۰.۹۸ (تقریباً همه موارد مریض رو تونسته گرفته باشه)
- F1-اسکور: ۰.۷۹ (یه نمره کلی تعادل بین precision و recall)
- AUC: ۰.۹۳ (این هم یه معیار برای کیفیت مدل‌هایی که دسته‌بندی می‌کنن)
اما خب قشنگی ماجرا اینه که وقتی مدل رو آوردن تو نیجریه و با عکس‌های واقعا گرفته‌شده از بچه‌های نیجریه (یعنی ۱۹۰ تا عکس که ۹۳ تا نرمال بودن، ۹۷ تا ذات‌الریه) امتحان کردن، متوجه شدن مدل دیگه اونقدرا هم قشنگ جواب نمیده:
- دقت: ۵۸٪ (افتضاح نیست ولی زیاد جالب هم نیست)
- پرسژن: ۰.۶۲
- ریکال: ۰.۴۸
- F1-اسکور: ۰.۶۸
- AUC: ۰.۶۵
چرا این‌جوری شد؟ چون احتمالاً عکس‌هایی که با تجهیزات نیجریه گرفته میشه با عکس‌های آمریکایی فرق داره—هم دستگاه‌ها متفاوته، هم پروتکل گرفتن عکس‌ها. یعنی مدل تا زمانی که با عکس‌های یه کشور دیگه تست بشه، ممکنه جواب دقیقی نده.
این تفاوت نشون میده که اگر واقعاً بخوایم تو آفریقا یا جاهای کم‌درآمد از هوش مصنوعی استفاده کنیم، باید دیتاست‌های لوکال و بومی جمع کنیم. یعنی دیتا و عکس‌هایی که واقعاً با تجهیزات و شرایط همین کشورها گرفته شده باشن، رو باید به مدل یاد بدیم تا هوش مصنوعی بتونه تو عمل و دنیای واقعی کمک کنه.
در کل، این مطالعه نشون داد که هوش مصنوعی می‌تونه ابزار خفنی برای تشخیص سریع و دقیق ذات‌الریه کودکان باشه، اما مدل‌ها باید واقعاً با داده‌های همون جایی که میخوان کار کنن، آموزش ببینن. یه جوری باید رو پای خودشون بایستن نه اینکه صرفاً به داده‌های کشورهای پولدار و پیشرفته وابسته باشن!
پس اگه یه روز دیدین مدل هوش مصنوعی‌تون رو عکس رادیوگرافی جواب نداد، شاید باید برگردین و مشکل رو تو دیتایی که مدل باهاش یاد گرفته، پیدا کنین!😉
منبع: +
