بیا یه چیزی بهت بگم! یه تیم باحال از دانشمندای کامپیوتر اومدن یه روش جدید واسه بهتر کردن دقت مدل‌های دسته‌بندی (Classification) پیشنهاد دادن. اصل داستان سر همون Loss Functionهاست، که اگه ندونی چیه: اینا تو آموزش هوش مصنوعی یه جور متر هستن که نشون میدن مدل چقدر اشتباه می‌کنه. اگه Loss پایین باشه یعنی مدل کارش خوبه؛ بالا باشه یعنی بهتره یه فکری واسه‌ش بکنی!
حالا معمولاً واسه مسئله‌های دسته‌بندی (مثل اینکه بتونی بگی این عکس سگ داره یا گربه) از یه Loss معروف به اسم Cross Entropy استفاده می‌کنن. Cross Entropy یا به فارسی ‘آنتروپی متقاطع’ یه فرمول ریاضی قدیمیه که میاد فرق بین پیش‌بینی مدل و جواب درستو اندازه می‌گیره. اما مشکل اینجاست که همیشه بهترین نیست و بعضیا میگن میشه بهترش کرد.
اینا اومدن یه نسخه‌ی قوی‌تر درست کردن به اسم ‘Linearly Adaptive Cross Entropy Loss’ یا به فارسی خودمون: ‘تابع خطی و تطبیقی آنتروپی متقاطع’. حالا این دیگه چیه؟ بذار راحت توضیح بدم: تو این نسخه جدید، یه بخش اضافه کردن که وابسته به اینه مدل چقدر مطمئنه جواب درست چیه. یعنی فقط نمیاد سر جمع عمل کنه، بلکه دقت می‌کنه به احتمال پیش‌بینی مدل واسه کلاس درست، اونم واسه لیبل‌هایی که به صورت “one-hot” هستن (یعنی مثلاً وقتی داری ۱۰۰تا دسته داری، عدد درست فقط تو یکی‌شون ۱ و بقیه‌شون ۰ میشه – مثل برچسب‌گذاری کلاسیک داده‌ها). این بخش اضافه شده باعث میشه مدل بهتر بفهمه کجا درست گفته و کجا نه.
حالا اینا اومدن روشون رو امتحان کردن روی یه مدل معروف به اسم ResNet (اینم یه مدل عمیق از شبکه‌های عصبیه که تو کار تشخیص تصویر خیلی محبوبه) با دیتاست CIFAR-100. اگه باهاش آشنایی نداری: CIFAR-100 یه مجموعه عکس کوچیکه که ۱۰۰ تا دسته مختلف داره و کلی واسه تست مدل‌ها میان سراغش.
نتیجه چی شده؟ خب، طبق آزمایش اولیه، این Loss جدید تقریباً همیشه بهتر از همون Cross Entropy قدیمی عمل کرده و تونسته دقت دسته‌بندی رو بیشتر کنه! تازه، علیرغم اینکه یه بخش اضافه شده، هنوز سادگی خودش رو حفظ کرده و سرعتش تقریباً مثل همون نسخه قبلیه. یعنی لازم نیست هی سختش کنی یا نگران کمبود کارایی باشی!
در نهایت نویسنده‌ها گفتن این روش نه‌تنها خودش جذابه، بلکه کلی راه دیگه واسه تحقیق روی طراحی انواع Loss Functionها (تابع زیان که مدل رو تو آموزش راهنمایی می‌کنه) باز کرده. پس اگه خواستی فردا پس‌فردا رو Loss کار کنی یا دنبال ایده جدید باشی، حواست به این قضیه باشه و این حقه‌ی خطی-تطبیقی رو از دست نده! به نظرم واقعاً ایده باحالیه مخصوصاً برای کسایی که دوست دارن کار مدل‌هاشون رو بهتر و خاص‌تر کنن.
منبع: +
