داستان اینه که امروزه مدلهای زبانی بزرگ مثل ChatGPT دیگه فقط برای چت و سوالای دمدستی نیستن! خیلیها میگن این مدلها میتونن مثل یه مشاور سریع کنار دست پزشکها باشن، مخصوصاً توی حوزهی آزمایشگاه و تفسیر جواب آزمایش. حالا سوال اینجاست: چقدر میشه بهشون اعتماد کرد، مخصوصاً وقتی اطلاعات کافی براشون نذاشتیم؟
اینجا یه تحقیق جالب رو انجام دادن واسه اینکه چک کنن چِتجیپیتی (سه نسخه معروفش: GPT-3.5-Turbo، GPT-4، و GPT-4o) چقدر “ثبات”نش توی ارائه بازههای مرجع آزمایشی خوبه یا نه. بازه مرجع یا Reference Interval یعنی اون بازهای که میگه جواب آزمایش یه فرد سالم باید توی اون قرار بگیره. این موضوع واقعاً مهمه، چون اگه بازهها بالا پایین بشه تفسیر آزمایش کلّی به هم میریزه!
واسه این آزمایش، پژوهشگرها ۷۲۶هزار بار با این سه نسخه چت کردن (یعنی واقعاً خیلی زیاد!)، و هر بار یه سؤال استاندارد پرسیدن؛ ولی کاملاً عمدی بازه مرجع رو توی سؤال نگذاشتن تا ببینن مدل خودش چجوری جواب میده. بعدش اومدن ۲۴۶۸۴۲ تا بازه مرجع برای ۴۷ تا پارامتر آزمایشگاهی مختلف جمعآوری کردن و ثبات این خروجیا رو با شاخصی به اسم ضریب تغییرات یا CV (Coefficient of Variation یعنی نشون میده دادهها چقدر بالا و پایین دارن نسبت به میانگین) بررسی کردن.
نتیجهها چی شد؟ به طور میانگین، چتباتها برای حد پایین بازه مرجع حدود ۲۶/۵٪ نوسان داشتن (یعنی ممکن بود مثلا یه بار یه عدد بدن سری بعدش یه عدد دیگه!) و برای حد بالای بازه چیزی حدود ۱۵/۸٪ نوسان. (داخل پرانتز اینو بگم، IQR، یعنی بازه میانهای که بیشتر نتایج توش بوده، برای حد پایین ۷/۳۵ تا ۱۲۹/۰۱ بوده و برای حد بالا ۴/۵۰ تا ۴۵/۳۰). توی این آزمایش GPT-4 و GPT-4o از نظر ثبات بهتر از GPT-3.5-Turbo بودن، یعنی جدیدترها کمتر بالا پایین میشدن.
یه چیز دیگه که خیلی جالب بود: جواب مدلها برای پارامترهایی که اصلاً خوب استانداردسازی نشدن خیلی بیشتر بالا پایین داشت (مثلاً برای حد پایین، شاخص β که نشوندهنده میزان تاثیر استانداردسازی هست، برابر ۰.۶ بود و برای بالا ۰.۵). تازه توی نوشتن واحدها هم مدلها ناهماهنگی داشتن!
آخر قصه اینه که: هرچند نسخههای جدیدتر (مثلاً GPT-4 و GPT-4o) بهتر شدن، ولی هنوز این نوسانها برای کار تشخیصی اصلاً قابل قبول نیست و ممکنه کار رو خیلی اشتباه جلو ببره، مخصوصاً برای اون آزمایشهایی که استاندارد جهانی ندارن یا نحوه انجامشون توی آزمایشگاهها فرق داره.
پس چی نتیجه میگیریم؟ اگه بخوایم از هوش مصنوعی توی آزمایشگاه استفاده بشه (یا مثلاً کاربر عادی بخواد براش جواب آزمایش تفسیر کنه)، لازمه همیشه توی پرسش دقیقاً بازه مرجع رو به مدل بگیم. بازم بهتره یه استاندارد جهانی براش تنظیم بشه و مدلها حرفهایتر بشن، تازه یه کنترل و نظارت جدی هم لازم داریم (Regulatory Oversight یعنی حسابی نهادهای نظارتی بالاسرش باشن که خرابکاری پیش نیاد!).
تا زمانی که این چیزها درست نشده، توصیهشون اینه که این نوع چتباتها فقط باید دست حرفهایها باشه، نه مردم عادی؛ و مدلها باید یاد بگیرن اگه یکی بازه مرجع نداد، خودشون اصلاً تفسیر انجام ندن و پاسخ بدن “بدون بازه مرجع نمیتونم نظری بدم”.
خلاصه بچهها، فعلاً خیلی به چتجیپیتی برای تفسیر آزمایش خون و… اعتماد نکنین، بذارین آینده بیاد و اینا حرفهایتر و امنتر بشن!
منبع: +
