بیا یه چیزی جذاب رو باهم بررسی کنیم! احتمالا شنیدی که این روزها مدل‌های یادگیری ماشین یا همون Machine Learning تقریباً توی هر صنعتی پیدا می‌شن؛ از پزشکی گرفته تا خودروهای هوشمند. خب حالا قضیه اینه که هرچقدر این مدل‌ها بیشتر وارد زندگی ما می‌شن، حساسیت روبه‌روشون هم بیشتر میشه، مخصوصاً وقتی حرف امنیت و پایداری یا همون Robustness وسط باشه.
ولی این وسط یه روش خاص هست به اسم محاسبات ابر-بعدی یا همون Hyperdimensional Computing که اختصارش میشه HDC. بذار یه توضیح بدم: توی این شیوه، اطلاعاتمون رو به جای اینکه ساده نگه‌داریم، به صورت بردارهایی با هزاران یا حتی میلیون‌ها بعد نشون می‌دیم! قشنگ همینجور که اسمش داره داد می‌زنه، خیلی پر بُعد و عجیب و غریبه. الان سوال اینه: این مدل‌ها با تغییرات ورودی یا نویز، چقدر مقاومن؟
توی این تحقیق اومدن یه چارچوب نظری جدید معرفی کردن که بفهمیم این مدل‌های HDC چقدر به نویز حساسن یا بهتر بگم چقدر می‌تونن جلوی به‌هم‌ریختگی دیتا رو بگیرن. اصلاً Robustness یا همون مقاومت یعنی چه؟ یعنی وقتی یه ذره ورودی رو دستکاری کنیم (مثلاً یه نویز کوچیک روش بندازیم)، پیش‌بینی مدل عوض میشه یا نه؟
حالا این تیم با یه حقه ریاضی به اسم کران بالا (یعنی حداکثر آسیبی که یه مدل می‌تونه تحمل کنه و هنوز جوابش عوض نشه)، سنجیدن: تا چه حد میشه ورودی رو خراب کرد که مدل هنوز همون خروجی قبلی رو بده؟
یه نکته باحال اینه که اومدن از مفهوم لیپ‌شیتز (Lipschitz) استفاده کردن – اینم یه اصطلاح ریاضی معروفه که عملاً میگه خروجی یه تابع با تغییر ورودی تا چه حد تغییر می‌کنه. یا به زبان ساده‌تر: اگر ورودی رو یکم دستکاری کنیم، خروجی چقدر می‌لرزه؟ اگه این عدد پایین باشه، یعنی مدل خیلی حساسه و باید مراقب باشیم یه ضربه نخوره از دنیا!
توی مقاله نشون دادن که چطور میشه این عدد رو برای مدل‌های HDC حساب کرد و حتی بر اساس همین مفهوم، مقاومت مدل رو بالاتر برد! روش‌های مختلفی معرفی کردن که ببینیم مدل با یه دیتاست خاص و نوع مشخصی از رمزگذاری ابر-بعدی چقدر مقاوم می‌مونه.
یه بخش دیگه از داستان اینه که وقتی رمزگذاری ابر-بعدی رو با یه توزیع گاوسی (Gaussian) با واریانس‌های مختلف انجام دادن، دیدن که اگه مدل رو بر اساس همین معیار بهینه کنن، مقاومتش نسبت به نویز بیشتر میشه ولی دقتش همچنان خوب می‌مونه.
در نهایت عملی بودن این روش هم نشون داده شد؛ یعنی واقعاً مشخص شد این ایده فقط توی ریاضی قشنگ نیست، بلکه توی آزمایش‌های دنیای واقعی هم جواب میده و مدل HDC رو ضد ضربه‌تر می‌کنه.
پس اگه دنبال مدل‌هایی هستی که هم از نظر کارایی عالی باشن و هم به این سادگی‌ها از نویز نترسن، این روش لیپ‌شیتز جدید برای HDC حرف‌های زیادی برای گفتن داره! ابعاد زیاد، رمزگذاری قوی و حالا یه راه علمی برای ضدضربه کردنشون؛ همین چیزاست که آینده هوش مصنوعی رو هیجان‌انگیزتر می‌کنه.
منبع: +
