بذار همین اول یه چیزی بگم: هر کی با مدلهای یادگیری ماشین کار کرده باشه، احتمالاً اسم روشهایی مثل LIME یا SHAP رو شنیده. اینا همون روشهای معروف و پرطرفدار تفسیرپذیری لوکال (یعنی توضیحپذیری محلی) هستن که اکثر آدمها وقتی مدلشون یه تصمیم عجیب میگیره، سریع سراغشون میرن.
حالا نکته اصلی چیه؟ این روشها بر اساس یه فرض خیلی مهم کار میکنن: اینکه همه چی توی حوالی اون نقطه (مثلاً تصمیم یه مدل) کموبیش مثل قبله. به این میگن «پیوستگی محلی»، یعنی اگه ورودی رو یه ذره این ور اون ور کنیم، اتفاقات خیلی خاصی نیافته. اما خبر بد اینه که مغزهای پیچیده و مدلی که اسمش هست “self-modulating cognitive architectures” (یعنی مدلهایی که خودشون ساختارشون و فرآیند تصمیمگیریشون رو حین کار تغییر میدن)، اصلاً با این فرض حال نمیکنن!
توی این مقاله، اومدن سه تا مفهوم جالب و عجیبغریب رو معرفی کردن:
-
Modular Cognitive Attention یا همون MCA: این یعنی مدل میتونه توجهش رو به بخشهای مختلف خودش تقسیم کنه و هر لحظه یکیو بولد کنه. مثل وقتی ذهنت مدام فوکوسش رو عوض میکنه.
-
Cognitive Leap Operator (Ψ): اینم یعنی مدل میتونه یهو یه پرش ذهنی عجیب بزنه و به تصمیمات یا حالتهایی برسه که با تغییرات کمکم قابل پیشبینی نیست. بزار راحتتر بگم، انگار با یه تغییر کوچیک، نتیجهی مدل ممکنه بشه زمین تا آسمون فرق کنه. (این همون اتفاقیه که باعث میشه SHAP و LIME گم و گیج بشن!)
-
Internal Narrative Generator (ING): این یعنی مدل یا معماری، یه جورایی واسه خودش داستانپردازی داخلی داره! همون روایتی که خودش رو قانع میکنه دلیل کاراش چیه. شاید شبیه وقتی ما تو ذهنمون بحث میکنیم که چرا باید فلان کار رو بکنیم یا نکنیم.
خب حالا چرا اینا مهمن؟ توی آزمایشا دیدن اگه مدل رو یه خورده تو دادههاش دستکاری کنی، بسته به وضعیت درونی مغز مدل، تفسیر و دلیل تصمیمش ممکنه کاملاً عوض بشه. یعنی نتیجه راحتاً میره سمت یه شاخه دیگه، درست مثل دو راهیهایی که تو بازیهای تعاملی میبینی! به این نقطههای تغییر ناگهانی میگن “bifurcation points”، یعنی نقاط چندشاخه شدن تصمیمگیری.
اساساً نتیجش اینه: روشهای سنتی مثل LIME و SHAP واسه این مدلهای پیچیده اصلاً جواب درست و حسابی نمیدن. چون فقط بخش کوچیکی از مغز مدل رو بررسی میکنن و نمیتونن این پرشهای ذهنی و داستانگویی داخلی رو بگیرن.
حالا نویسندهها میگن به جای اینکه فقط دنبال توضیحهای بعد از تصمیمگیری (post-hoc local approximations یعنی روشهایی که سعی میکنن بعد از گرفتن تصمیم، مدل رو تفسیر کنن) بگردیم، بهتره بریم سراغ یه دیدگاه تازه: “narrative-based interpretability”. یعنی تفسیر مدل باید از دل خود روند تصمیمش و روایت داخلی که برای خودش ساخته میاد، نه اینکه فقط بخوایم با دستکاری نقطهای بفهمیم چرا این تصمیم رو گرفته.
اگه بخوای آینده سیستم هوش مصنوعی سطح بالا (AGI یعنی Artificial General Intelligence، همون هوش مصنوعیهایی که میتونن واقعاً شبیه انسان همهفنحریف باشن) شفاف و قابل اعتماد باشه، باید سیستمهایی داشته باشیم که شفافیتشون واسه آدمیزاد قابل لمس باشه. یعنی مدل خودش بتونه دقیق داستان تصمیمها و دلیل کاراش رو واسمون تیکه تیکه تعریف کنه، نه اینکه فقط بشینیم با ابزارهای لوکالی تفسیرش کنیم که خیلی جاها کلاً جا میزنن!
خلاصهش اینکه اگه دنبال فهم درست مدلهای هوشمند جدید و خودتغییرکننده هستی، باید دیدگاهت رو عوض کنی و بیشتر به روایت، دینامیک درونی و داستانپردازی خود مدل توجه کنی، نه فقط توضیح ساده با دستکاری ورودیها!
منبع: +
