اگه با دنیای هوش مصنوعی و بهخصوص شبکههای عصبی عمیق (DNNها) سر و کار داشته باشی، حتماً میدونی که یکی از دغدغههای بزرگ تو این حوزه اینه که مدلها چقدر قابل اطمینان هستن، مخصوصاً وقتی با سر و صدای واقعی و خرابکاریهای عمدی (که بهشون میگن “حملات نفوذی”) مواجه میشن. مثلاً فرض کن یه مدل عکس رو تشخیص میده، اما تو محیط واقعی یه خورده نویز یا شلوغی تو تصویر هست یا یه نفر بخواد با دستکاری جزئی مدل رو به اشتباه بندازه. اینجاست که کلی روش برای توضیح دادن تصمیم مدل ساخته شده تا بفهمیم دقیقاً مدل چرا یه چیزی رو اینطوری تشخیص داده.
اما واقعیت اینه که خیلی از این روشهای توضیحدهی هنوز اونقدر که باید خوب نیستن و جا برای بهتر شدن دارن. همین باعث شد یه تیم بیاد و یک روش کاملاً جدید معرفی کنه که هم خیلی باحاله و هم نتیجههای جالبی داده. حالا میخوام برات بگم جریان چیه!
اول یه توضیح کوچیک: “Attribution methods” میشه همون روشهایی که میخوان بفهمن مثلاً مدل کدوم قسمت تصویر یا داده رو بیشتر تاثیرگذار دونسته. اصطلاحاً میگن “مدل به چی توجه کرده”. حالا این روش جدید که تو این مقاله معرفی شده، اسمش هست “Frequency-Aware Model Parameter Explorer” یا FAMPE. یعنی یه سیستمی که تنظیمات مدل رو جوری بررسی میکنه که متوجه میشه مدل چطور نسبت به فرکانسهای مختلف داده (یعنی جزئیات ریز یا کلی تصویر) حساسیت داره.
یه نکته خیلی باحال اینه که تو این روش جدید، یه جور حمله نفوذی تازه هم پیشنهاد شده به اسم “transferable frequency-aware attacks”. یعنی حملاتی که میتونن هم روی جزئیات خیلی ریز داده (فرکانس بالا) و هم روی کلیات تصویر (فرکانس پایین) اثر بگذارن و توی مدلهای مختلف قابل انتقال باشن. منظور از “transferable” اینه که یه چیزی که برای خراب کردن این مدل کار میده، برای بقیه مدلها هم جواب میده!
حالا مهمترین دستاورد این روش اینه که با کمک این نوع حملات و بررسی دقیقی که روی فرکانسهای بالا و پایین انجام میدن، میتونن خیلی بهتر و دقیقتر توضیح بدن که چرا مدل یه تصمیم خاصی گرفته. وقتی با روشهای جدید دیگه مثل “AttEXplore” که الان جزو بهترینا به حساب میاد، مقایسه کردن، دیدن که این FAMPE تونسته به طور متوسط ۱۳.۰۲ درصد امتیاز بیشتری تو معیار Insertion Score بگیره. (Insertion Score یه شاخصه که نشون میده وقتی یه بخشهایی از تصویر رو کمکم به مدل نشون میدیم، مدل چقدر در مسیر درستی پیشبینی میکنه.)
برای اینکه مطمئن بشن موضوع واقعاً این فرق رو ایجاد کرده، به روش آزمایش تفکیکی رفتن یعنی هم فقط اطلاعات فرکانس بالا رو امتحان کردن و هم فرکانس پایین رو؛ تا ببینن هرکدوم دقیقاً چه نقش و تاثیری تو قابلفهم بودن مدل دارن. خلاصه اینکه نتیجه نشون داده این نگاه جدید به فرکانسها کلی به “شفافتر شدن” رفتار مدل کمک کرده.
در کل اگر دنبال مدلهایی هستی که مغزشون رو بشه راحتتر خوند و فهمید و کمتر هم توسط تقلبهای زیرپوستی یا شلوغی واقعی اذیت بشن، این مقاله و روش FAMPE حرفای جالبی برات داره!
منبع: +
