بیا یه داستان جالب از دنیای هوش مصنوعی پزشکی برات بگم. احتمالاً اسم مدل‌های زبانی بزرگ یا Large Language Models (LLMs) رو زیاد شنیدی؛ اینا همون هوش مصنوعی‌هایی هستن که می‌تونن کلی متن تولید کنن، جواب بدن، خلاصه کلی خفنن! حالا یه ذره متفاوت‌تر می‌شه وقتی حرف مدل‌های بزرگ چندحالته یا Large Multimodal Models (LMMs) پیش میاد: اینا فقط با متن کار نمی‌کنن، بلکه می‌تونن مثلاً عکس‌های پزشکی مثل رادیولوژی و پاتولوژی رو هم پردازش کنن.
اما یه مشکلی که مدل‌های فعلی دارن اینه که بیشترشون بر اساس همون مدل‌های متنی کلی یا Foundation LLMها ساخته شدن. یعنی چی؟ یعنی اون‌قدرها آموزش پزشکی ندیدن که بتونن موضوعات دقیق پزشکی رو قِلقی بفهمن، مخصوصاً که دیتای پزشکی هم نسبت به دیتای عمومی کمتره.
از اون طرف، آخرین تلاش‌ها مثل LLaVA که می‌خواستن مدل پزشکی چندحالته بسازن هم هنوز نتونستن رابطه عمیق بین متن و تصویر رو درست درک کنن. مثلاً متن گزارش یه عکس رادیولوژی رو اونجوری که باید با خود عکس نمی‌تونن هماهنگ کنن.
اینجاست که پروژه جالب “Doctor Sun” وارد می‌شه! دکتر سان چیه؟ یه مدل چندحالته (یعنی هم متن، هم تصویر) مخصوص حوزه پزشکیه که واقعاً به طور خاص برای دنیای پزشکی ساخته شده. کاری که می‌کنه اینه که از یه Vision Encoder (همون مغزی که تصویرها رو می‌فهمه) که قبلاً حسابی یاد گرفته و یه مدل زبانی پزشکی ترکیب می‌کنه. بعدش هم آموزشش رو تو دو مرحله انجام دادن:
اول از همه Feature Alignment یعنی مشخصات و جزییات بین تصویر و متن رو با هم هماهنگ کردن که مغز مدل بتونه هم عکس رو بفهمه، هم توضیحش رو.
بعدش رفتن سراغ Instruction Tuning که یعنی مدل رو با راهنما و سناریوهای پزشکی واقعی آموزش دادن، تا یاد بگیره چی به چیه!
یه بخش خفن‌ترش اینه که تیم دکتر سان یه دیتاست حسابی به اسم SunMed-VL هم درست کردن؛ این یه دیتاست پزشکی چندحالته و دوزبانه‌ست (یعنی هم متن انگلیسی داره، هم یه زبان دوم). دیتاست یعنی مجموعه بزرگ داده‌هایی که مدل با اونا آموزش می‌بینه. نکته مهم: هم مدل، هم داده‌ها و هم کدش رو رایگان منتشر کردن که هرکی بخواد بتونه تحقیق کنه و مدل رو بهبود بده.
در کل، دکتر سان اومده که واقعاً بتونه متن و تصویر پزشکی رو با هم بفهمه و تفسیر کنه؛ دیگه قراره کمک کنه که هوش مصنوعی پزشکی یه جهش اساسی برداره، مخصوصاً برای کارهایی مثل تحلیل پاتولوژی (یعنی بررسی بافت و سلول‌ها)، تولید گزارش رادیولوژی و کلی کار دیگه که به دنیای سلامت کمک می‌کنه.
خلاصه: اگه تو فکر آینده پزشکی با هوش مصنوعی هستی، دکتر سان و دیتاست SunMed-VL رو اصلاً از دست نده! آدم حس می‌کنه واقعاً داره آینده رو از نزدیک می‌بینه.
منبع: +
