خب، بیاین امروز با هم در مورد یه ایده خفن توی هوش مصنوعی حرف بزنیم که تازه توی یه مقالهی جدید به اسم «Pre-Forgettable Models» معرفی شده. موضوع اینه که مدلهای هوش مصنوعی مخصوصاً «foundation models» (یعنی همون مدلهای پایه و اساسی که برای کاربردهای چندرسانهای ساخته میشن و هزار تا کار میتونن بکنن) تا حالا به شکلی طراحی شدن که یه سری اطلاعات رو خیلی خوب یاد بگیرن و انتقال بدن، بدون اینکه بتونن راحت بخشی از این یادگیری رو “فراموش” کنن.
حالا چرا اصلاً باید مدلها یادشون بره؟ چون طبق یه سری قوانین مثل GDPR (این قانونارو تو اروپا گذاشتن که حریم خصوصی و اطلاعات کاربرا رو حفظ کنن)، اگه کسی بگه اطلاعاتم رو پاک کن، باید بشه اون اطلاعات رو واقعاً از مدل حذف کرد. ولی اکثر روشهای قدیمی برای پاک کردن اطلاعات، مثل آموزش دوباره (retraining)، یا دستکاری فعالسازیها (activation editing یعنی تغییر دادن پاسخ عصبی مدل نسبت به بعضی دادهها)، یا تقطیر دانش (distillation)، یا کلی زمانبر هستن یا خیلی قابل اعتماد نیستن. تازه اکثراً به درد مدلهایی که مدام در حال آپدیت یا تغییر هستن هم نمیخورن.
اینجا تیم مقاله پیشنهاد داده که بیایم کلاً طرز فکر رو عوض کنیم: چرا به جای اینکه بعداً به مدل بگیم “فلان چیزو فراموش کن”، از اول یه جوری طراحی نکنیم که خودش خیلی راحت بتونه هر چیزی رو آنی یادش بره؟
چطور؟ با یه ایده باحال: یادگیری بر اساس پرامپت (prompt-based learning). اگه نمیدونین پرامپت چیه، ساده بگم: توی مدلهای زبانی و تصویر و غیره، پرامپت یعنی یه سری ورودی یا نشونه خاص که مدل با گرفتنش میفهمه باید دنبال چی بگرده یا چه دانشی رو رو کنه. مثلا اگه به چتبات بگی “داستانی درباره گربه بنویس”، این خود پرامپته و مدل بر اساسش تولید محتوا میکنه.
اینجا میگن به جای اینکه دانش هر دستهبندی یا موضوع (class-level semantics) تو وزن مدل ذخیره بشه، یه سری “توکن پرامپت” اختصاصی براش بذاریم. یعنی هرچی مدل یاد میگیره، به یه پرامپت خاص گره بخوره. حالا جادوی کار اینجاست: اگه یه روز لازم بود یه چیزی رو به کل یادش بره، کافیه اون پرامپت مربوط رو از مدل برداریم. نه لازم داریم دوباره آموزش بدیم، نه وزنها رو عوض کنیم، نه دادهی اضافی لازم داریم! خیلی راحت و سریع.
تازه آزمایشها نشون داده وقتی یه پرامپت رو حذف میکنیم، مدل اون دستهای که باید فراموش بشه رو کامل یادش میره ولی پیشبینی و عملکردش روی بقیه دستهها هیچ مشکلی نداره.
یه نکته باحال دیگه اینکه این روش واقعاً هم امنیت و هم حریم خصوصی رو حفظ میکنه. مثلاً در مقابل حملات membership inference (یعنی اون تکنیکهایی که هکرها میخوان بفهمن واسه آموزش یه مدل، دادههای چه کسایی استفاده شده)، این روش مقاومه. وقتی پرامپت رو حذف میکنی، دیگه نمیتونن حتی با روشهای پیشرفته چیزی از اون دانش پاکشده دربیارن.
در کل این ایده باعث میشه مدلهای هوش مصنوعی آینده، هم مقیاسپذیرتر بشن، هم ماژولار (یعنی هر تیکه دانش جداگونه و قابل حذف)، هم از نظر اخلاقی و قانونی قابلاعتمادتر. اینجوری میشه تو محیطهایی که حساس هستن یا قوانین خیلی محکم دارن، راحتتر از مدلهای هوشمند استفاده کرد و نگران حذف دانش نباشیم. خلاصه، راه رو باز میکنه واسه مدلهایی که هم خیلی چیز یاد میگیرن و هم هر وقت لازم شد، خیلی سریع یادشون میره چی یاد گرفتن!
منبع: +
