تا حالا فکر کردی که هوش مصنوعی چقدر داره تو دنیای بیمه وارد میشه؟ مخصوصاً تو چین که همه چی سریع و حرفهای پیش میره! حالا داستان اینه که هرچند تو دنیا کلی معیار یا همون بنچمارک (benchmark یعنی یه سری تست و چکلیست معتبر برای سنجش عملکرد یه سیستم) برای سنجش هوش مصنوعی داریم، اما بیشترشون به درد دنیای خاص و پیچیده بیمه نمیخورن.
اینجوری شد که یه تیم اومدن و INSEva رو ساختن! این اسم خلاصهی “Insurance Evaluation” یعنی «ارزیابی بیمه» هست و درواقع یه بنچمارک خیلی کامل و حرفهایه که فقط و فقط برای بررسی مدلهای زبونبزرگ هوش مصنوعی تو زمینه بیمه درست شده.
INSEva چه چیزهایی داره؟
INSEva ساده نیست! این بنچمارک اومده همهجوره ماجرا رو پوشش داده. مثلاً دستهبندیهایی که داره اینا هستن:
- حوزههای مختلف کسبوکار بیمه (مثلاً بیمه عمر، سلامت، خودرو…)
- انواع فرمت سؤالها و کارها (task formats، یعنی هر مدلی باید چه جور سؤالهایی رو جواب بده)
- سطحهای مختلف سختی سؤالات
- بعدهای شناختی و دانشی (cognitive-knowledge dimension یعنی مدل فقط قِلِق و قلق نباشه، واقعاً بفهمه!)
اینها یعنی INSEva اومده به همه زوایا دقت کرده و هیچ چیزی رو از قلم ننداخته. تازه، یه چیزی حدود ۳۸,۷۰۴ تا سؤال باکیفیت و معتبر توش هست که همه رو از منابع حسابی و مطمئن جمع کردن.
چطوری مدلها رو میسنجه؟
یکی از جالبترین بخشها اینه که برای جواب دادن به سؤالات باز (open-ended responses یعنی جوابهایی که مدل باید خودش بنویسه و صرفاً درست/غلط نداره)، دو تا شاخص رو چک میکنن: یکی اینکه مدل چقدر دقیق و وفادار به واقعیت جواب داده (faithfulness) و دیگری اینکه چقدر جوابش کامل بوده (completeness).
حالا نتایج چی شد؟
این تیم اومدن و ۸ تا از بهترین مدلهای زبانی بزرگ (Large Language Models یا همون LLMs، مثل ChatGPT خودمون!) رو با INSEva تست کردن. نتیجهها جالب بود! مدلهای عمومی هوش مصنوعی، تو مباحثی که خیلی پایهای و ساده بودن، بیشتر از ۸۰ درصد امتیاز گرفتن. یعنی اگه درباره بیمه ازشون سؤال ساده بپرسی، اوکیان. اما همین که سؤالها پیچیدهتر میشه و سناریوی واقعی دنیای بیمه رو وسط میکشی، یه فاصله و ضعف حسابی نشون میده.
اصلاً چرا این مهمه؟
تو بیمه یه اشتباه کوچیک میتونه کلی ضرر بزنه؛ برای همین هم شفاف، دقیق و کامل بودن جوابهای هوش مصنوعی خیلی مهمه. این یعنی فقط هوشمند بودن کافی نیست، باید با دنیای واقعی بیمه هم هماهنگ باشه!
خبر خوب!
قراره این بنچمارک INSEva به زودی عمومی بشه و همه بتونن ازش استفاده کنن. خلاصه، هرکسی که دنبال ساخت یا بهبود مدلهای هوش مصنوعی تو بیمه (یا میخواد مدلی رو بسنجونه!) باشه، با INSEva دستش حسابی باز خواهد بود.
پس اگه خوشذوقی و دنبال چالش هوش مصنوعی تو بیمه هستی، INSEva رو فراموش نکن 😉
منبع: +
