اگه به هوش مصنوعی علاقه‌مند باشی، احتمالاً خیلی شنیدی که مدل‌ها رو با هم ترکیب می‌کنن تا قوی‌تر بشن. این کار رو بهش میگن Ensemble Adversarial Training یا همون EAT که یعنی مدل‌های مختلف با هم همکاری می‌کنن تا جلوی حملات مخربی که میشه بهشون کرد رو بهتر بگیرن. حمله مخرب یا Adversarial Attack مثلاً وقتی یه تصویر کوچیک رو دستکاری می‌کنن و مدل دیگه نمی‌تونه درست تشخیص بده.
حالا این EAT که گفتم، قبلاً به این شکل بوده که هر مدل جدا جدا آموزش می‌دیده و عملاً کار گروهی خاصی اتفاق نمی‌افتاده. مشکل اینجاست که مدل‌ها انگار فقط کنار هم‌ان نشستن و اصلاً از هم یاد نمی‌گیرن! انگار همه فقط تو کلاس خودشونن و همکاری ندارن.
ولی نکته جالب اینجاست: محقق‌ها متوجه شدن نمونه‌هایی که بین مدل‌ها اختلاف نظر دارن (یعنی یکی میگه گربه‌ست، یکی میگه سگه!) این نمونه‌ها دقیقاً همونایی‌ان که نزدیک مرز تصمیم‌گیری مدل‌ها قرار گرفتن. یعنی اگه مدل‌ها بتونن روی همین نمونه‌ها تمرکز کنن، کل مجموعه قوی‌تر میشه.
حالا یه راهکار جدید اومده به اسم Collaborative Ensemble Adversarial Training یا به اختصار CEAT. این روش به زبان ساده میگه: بیاید با هم همکاری کنیم! یعنی اگه یه نمونه بین مدل‌ها اختلاف انداخته، حواسمون بهش بیشتر باشه و وزن بیشتری بدیم موقع آموزش. در واقع این مدل جدید اختلاف پیش‌بینی بین مدل‌ها رو اندازه می‌گیره و هر چی این اختلاف بیشتر باشه، اون نمونه در آموزش بعدی اهمیت بیشتری پیدا می‌کنه.
CEAT یه چیز دیگه هم داره به اسم calibrating distance regularization که یعنی یه جور نظم‌دهی یا تنظیم فاصله بین داده‌ها تا مدل‌ها بهتر بتونن همکاری کنن و یادگیریشون تنظیم‌تر باشه. خلاصه هدف اینه که مدل‌ها واقعاً تیم بشن، نه اینکه فقط عروسک خیمه‌شب‌بازی کنار هم باشن!
جالبیش اینجاست که این روش روی دیتاست‌های معروف تست شده و نشون داده که نسبت به همه روش‌های قبلی EAT، کارایی خیلی بهتری داره. یعنی وقتی مدل‌ها از هم «یاد می‌گیرن» و اختلاف‌هاشون رو حل می‌کنن، کل گروه قوی‌تر میشه و در برابر حملات، هوشیارتر عمل می‌کنن.
یه خوبی دیگه CEAT هم اینه که به مدل خاصی وابسته نیست (مدل-agnostic یعنی هر مدلی خواستی می‌تونی بذاری تو این روش). پس شما آزادین هر چی مدل خواستین استفاده کنین و سی.ای.ای.تی باهاش سازگاره.
در کل، این ایده مثل این می‌مونه که به جای اینکه هر کسی تو تیم فقط برای خودش بازی کنه، با همکاری واقعی و یاد گرفتن از اشتباهات همدیگه، تیم رو به بهترین سطح ممکن برسونیم!
منبع: +
