بیا یه کم در مورد شبکه‌های عصبی عمیق (DNN) با هم حرف بزنیم. اینا دقیقاً اون مغزای مصنوعی هستن که کلی کار باحال انجام می‌دن، مثل تشخیص عکس، متن و کلی کاربرد دیگه. تو خیلی از جاها که حساسیت و امنیت مهمه—مثلاً خودروهای خودران یا تشخیص بیماری—از همین شبکه‌های عصبی استفاده می‌کنن. پس معلومه که باید تا جای ممکن قابل اعتماد باشن، یعنی اشتباه نکنن یا قاطی نکنن!
حالا مشکل چیه؟ سخت‌افزارا همیشه بی‌نقص کار نمی‌کنن. گاهی یه چیزی به اسم «bit-flip fault» اتفاق می‌افته، یعنی یه بیت از اطلاعات می‌پره یا عوض میشه (مثلاً یه «۰» بشه «۱»). همین اتفاق کوچیک می‌تونه خروجی مدل رو کامل به هم بزنه! واسه مقابله با این جور خرابکاری‌ها یه روشی هست به اسم Triple Modular Redundancy یا به اختصار TMR. معنی ساده‌ش میشه سه‌تا نسخه موازی از بخش مهم مدل داشته باشن و بعد رأی‌گیری کنن؛ هرچی دو تا از سه تا گفتن میشه جواب درست فرضی.
اما یه مشکل اینجاست که اگه کل مدل رو سه برابر کنی، حسابی سنگین و کند و گرون میشه! پس معمولاً میان این روش رو فقط روی بخش‌هایی اجرا می‌کنن که بیشتر روی خروجی مدل تأثیر دارن. سؤال مهم اینه: چطور اون بخشای حیاتی رو درست انتخاب کنیم؟
اینجا پای «هوش مصنوعی قابل توضیح» یا همون Explainable AI (XAI) به ماجرا باز میشه. XAI یعنی روشی که بهمون بگه کدوم بخش از مدل بیشتر توی تصمیم‌گیری نقش داره—مثلاً کدوم نورون یا وزن توی شبکه عصبی از بقیه حیاتی‌تره. با این کار، فقط اون بخشا رو با TMR محافظت می‌کنیم و بقیه رو معمولی می‌ذاریم.
توی این مقاله بچه‌ها اومدن یه راه حل کم‌هزینه و هوشمندانه پیشنهاد دادن. اونم چیه؟ استفاده از یه تکنیک XAI به اسم Layer-wise Relevance Propagation یا LRP. ببین LRP یه روشیه که باهاش می‌تونن بفهمن هر کدوم از نورونا یا وزنای شبکه چقدر واسه خروجی نهایی مدل مهمن. یعنی مثلاً مقدار اهمیت هر بخش رو حساب می‌کنن و امتیاز می‌دن.
حالا تو این روش پیشنهادی، LRP میاد، این امتیازا رو حساب می‌کنه، بعد اونایی که امتیاز بالا دارن (یعنی بیشتر حساسن و اگه خراب شن مدل قاطی می‌کنه)، فقط همونا رو با TMR محافظت می‌کنن. بقیه بخشا که خیلی مهم نبودن، دیگه سه برابر نمی‌شن و اینطوری هم سرعت و حجم کار بالا نمی‌ره، هم قابلیت اطمینان مدل واقعاً بهتر میشه.
برای آزمایش هم اومدن روی دو مدل معروف شبکه عصبی امتحان کردن: VGG16 و AlexNet. اسم اینا رو اگه اهل هوش مصنوعی باشی، زیاد شنیدی! واسه داده‌ها از دیتاست‌های معروف MNIST (یه عالمه عکس دست‌نویس عدد) و CIFAR-10 (عکسای کوچیک از ده تا کلاس مختلف مثل سگ، گربه، ماشین و…) استفاده کردن.
نتیجه‌ش چی شد؟ واسه مدل AlexNet، وقتی نرخ خطا تو بیت‌ها ۱۰ به توان منفی ۴ (یعنی تقریباً یک به هر ده هزار بار) باشه، تونستن با همین روش جدید بیش از ۶۰٪ قابلیت اطمینان یا reliability رو بهتر کنن، بدون این که از نظر هزینه منابع و زمان اجرایی چیزی بیشتر از روشای جدید دیگه خرج کنن.
خلاصه ماجرا اینه که با یه روش هوش مصنوعی قابل توضیح و یه کم تکنیک، میشه شبکه‌های عصبی رو هم مقاوم و ضدخرابکاری‌تر کرد، بدون این که وزنش سنگین شه یا منابع رو هدر بده. واقعاً هوش مصنوعی تا اینجاهاش هم باحاله!
منبع: +
