اگه عاشق داستانهای هوش مصنوعی، مخصوصاً وقتی پای دنیای پزشکی وسط باشه، این مقاله برات حسابی جالبه! بیاید با هم ببینیم قراره چه خبرایی تو حوزه هماهنگی عکس و متن تو عکسهای X-ray یا همون تصویربرداری اشعه ایکس از قفسه سینه اتفاق بیفته.
تا حالا شنیدی که هوش مصنوعی ها (یعنی سیستمهایی که میتونن رفتار هوشمندانه نشون بدن) دارن تلاش میکنن عکس و متن رو بهتر با هم مچ کنن؟ یعنی مثلاً وقتی یه گزارشی درباره یه عکس X-ray نوشته شده، مدلهای جدید بتونن بفهمن این متن دقیقاً درباره اون عکس چی میگه. خب این ایده تو دنیای عمومی، با دیتای زیاد خیلی جواب داده. اما تو پزشکی اوضاع فرق میکنه. چرا؟ چون گزارشهای پزشکی همیشه سرراست و یکدست نیستن! کلی مخفف و کلمه نامفهموم و حتی سبک خاص نوشتن توشون پیدا میشه. مثلاً یه دکتر ممکنه فقط یه خلاصه کوتاه بنویسه یا از کلی اصطلاح خاص استفاده کنه.
حالا تا الان فکر میکردن هرچی داده بیشتر بهتر؛ یعنی با بیشتر کردن گزارشها، مدل قویتر میشه. ولی نکته اینجاست که تو پزشکی، اگه همینطوری همه گزارشهای شلوغ پلوغ رو بریزی تو مدل، نهتنها بهتر نمیشه، بعضی وقتا حتی مدل گیج میشه و عملکردش بدتر میشه! جالبه، نه؟
حالا این محققها یه سوال جالب پرسیدن: آیا مدلهای بزرگ زبانی (LLM یا Large Language Model، همون مدلهایی مثل GPT که میتونن متنها رو حسابی قورت بدن)، میتونن کمک کنن نمایندگیهای متنی قویتری برای گزارشهای پزشکی درست کنیم؟ منظور از نمایندگی همون معنایی هست که مدل از گزارش درمیاره. اگه بشه این نمایندگیها رو درست کرد، تازه میشه متن و عکس رو دقیقتر با هم جفت کرد.
برای همین، یه مدل جدید به اسم LLM2VEC4CXR معرفی کردن! اگه اسمش برات عجیبه: CXR مخفف Chest X-Ray و VEC هم یعنی «بردار» یا همون نمایندگی عددی متن تو دنیای هوش مصنوعی. خلاصه این مدل رو دقیقاً برای گزارشهای X-ray پزشکی طراحی کردن که راحتتر بتونه با مخففها و سبک نامنظم گزارشها کنار بیاد.
لطفاً اینم بدون، یه مدل دیگه هم ساختن به اسم LLM2CLIP4CXR. این یکی دو تا ستون داره: یکی ستون متنی که همون مدل LLM2VEC4CXR رو گرفته و ستون دوم هم بخشی که تصاویر رو میفهمه (Vision Backbone یعنی اون قسمتی از مدل که کارش فهمیدن تصویرهاست). این دو تا ستون با هم همکاری میکنن تا مدل بتونه بهتر گزارشات و عکسهای قفسه سینه رو به هم ربط بده. بهش میگن Dual-Tower Framework، یعنی چارچوب دوستونه!
حالا چرا این مدلها باحال شدن؟ چون وقتی با مدلهای قبلی مثل همون BERT (یک مدل معروف برای فهم زبان طبیعی) مقایسه شون کردن، دیدن LLM2VEC4CXR هم با مخففها و هم با سبکای متفاوت نوشتاری خیلی بهتر کنار میاد و برای کارهای بالینی (کلینیکی) نتایج دقیقی میده.
اونا حدود ۱.۶ میلیون گزارش X-ray از منابع عمومی و خصوصی جمع کردن، البته کلی هم شلوغی و گزارش نامرتب بینشون بود. اما چیزی که فهمیدن این بود که «مقیاس»، یعنی زیادکردن داده، همه چیز نیست؛ باید مدل رو جوری آموزش بدی که به شلوغی و تنوع گزارشها مقاوم باشه. اینجا اصطلاح Robustness یا همون «مقاومت مدل در برابر اطلاعات شلوغ و نامنظم» خییلی کلیدی بود.
در نهایت، مدلهایی که ساختن، نه تنها روی یه دیتاست جواب دادن، بلکه وقتی با دیتاستای دیگه امتحانشون کردن هم هنوز قوی بودن (بهش میگن cross-dataset generalization یعنی توانایی مدل که متفاوت بودن دیتاست رو خوب هندل کنه).
جالبتر اینکه این مدلها رو اوپن سورس کردن (یعنی هرکسی میتونه بهشون دسترسی داشته باشه) تا بقیه پژوهشگرها هم بتونن این پروژهها رو توسعه بدن و تو زمینه یادگیری ترکیبی عکس و متن پزشکی پیشرفت ایجاد کنن.
جمعبندی: قراره هوش مصنوعی با مدلهای مختلف، به صورت خیلی باحالتر بتونه گزارشهای پزشکی و عکسهای X-ray رو دقیقتر به هم ربط بده. مهمترین نکته هم اینه که بزرگ بودن مدل همه چیز نیست، باید مدل واقعا قوی و مقاوم به آشفتگی و تنوع متن باشه!
منبع: +
