خب بذار خیلی راحت برات تعریف کنم که موضوع این مقاله چیه! درباره سیستم‌های یادگیری ماشین صحبت می‌کنیم؛ همون مدل‌هایی که توی دنیای هوش مصنوعی دارن هر روز بیشتر و بیشتر وارد کارمون، زندگیمون و هر چیزی که فکرش رو بکنی میشن. یه نکته خیلی مهم درباره این سیستم‌ها اینه که رفتاراشون غیرقابل‌پیش‌بینیه. یعنی چی؟ یعنی ممکنه تو محیط واقعی (production environment، یعنی زمانی که دیگه مدل رو عرضه کردن و داره واقعا کار میکنه) کارهایی بکنه که هیچکس انتظارش رو نداره، بعضاً حتی دردسرساز یا خطرناک.
حالا اینجا یه نکته مهمه: حتماً باید این سیستم‌ها رو مانیتور کنیم. یعنی چی؟ مانیتور کردن یعنی دائماً حواسمون باشه که مدل داره درست کار میکنه یا نه، مثلاً دقتش کم نشده، خیلی دیر جواب نمیده یا مثلاً کسی نتونه سو استفاده امنیتی کنه. فرض کن، اگر مدل شروع کنه اشتباه تصمیم گرفتن یا دچار باگ شه، ممکنه یه شرکت کلی پول یا آبروی خودش رو از دست بده. پس واقعاً باید جدی گرفتش.
نویسندگان این مقاله اومدن سراغ آدم‌هایی که هر روز با این سیستم‌ها کار می‌کنن، یعنی همون ML Practitioners (کسایی که یادگیری ماشین رو تو کارهای واقعی پیاده‌سازی می‌کنن)، و یه نظرسنجی جهانی از ۹۱ نفرشون گرفتن تا بفهمن روش‌ها و چالش‌ها و امیدهاشون درباره نظارت روی این مدل‌ها چیه.
یکی از چیزایی که فهمیدن اینه که خیلیا موقع اجرا (یعنی همون زمان کار واقعی مدل) با کلی دردسر مواجه میشن؛ مثلاً کارایی مدل میاد پایین (Performance یعنی اینکه چقدر خوب و دقیق داره کار میکنه)، زمان پاسخ‌دهی مدل زیاد میشه (Latency یعنی همون تاخیر یا کندی)، یا حتی مسائل امنیتی پیش میاد. خلاصه، مشکلات کم نیست!
حالا بیا راجع به روشهای مانیتورینگ صحبت کنیم. خب خب، بیشتر آدم‌ها عاشق روشهای اتوماتیک هستن (خودکار)، چون کار رو آسون‌تر و سریع‌تر می‌کنن؛ اما هنوز خیلی‌ها سراغ روشهای دستی میرن! چرا؟ چون اضافه کردن ابزارهای مانیتورینگ خودکار یه وقتایی خیلی پیچیده یا حتی دردسرسازه، مخصوصاً وقتی که به سیستم‌ها وصل میشن یا باید تعیین کنی دقیقا چه موقع هشدار بده (Alert Threshold یعنی همون مرز هشدار که اگر مدل ازش رد شد، سیستم بهمون خبر بده).
یه مشکل دیگه که خیلیا گفتن اینه که سِت‌آپ اولیه این ابزارها اصولاً عذاب‌آوره! یعنی کلی وقت و انرژیت رو میگیره تا یه ابزار مانیتورینگ رو راه بندازی. علاوه بر این، این کار خودش یه بار اضافه یا workload برای تیم‌ها ایجاد میکنه و بعضی وقتا انقدر تعداد هشدار زیاد میشه که دیگه عوامل تیم کلافه میشن و ممکنه حتی هشدارها رو جدی نگیرن (به این میگن Alert Fatigue، یعنی خستگی یا بی‌حوصله شدن از بس هشدار میاد!).
اگه بخوای بدونی ML Practitionerها چی میخوان، دنبال یه چیزن: میخوان کل فرایند مانیتورینگ از اوّل تا آخر اتوماتیک و ساده باشه. مثلاً خودش سیستم بتونه یه سری مانیتورهای مناسب رو درست کنه و راه بندازه (Automated Generation and Deployment of Monitors یعنی درست کردن و نصبِ خودکارِ ابزارهای مانیتورینگ)، یا ابزارها بهتر بتونن مسائل کارایی و انصاف (Fairness، یعنی مطمئن باشیم مدل به کسی یا گروهی ظلم نمی‌کنه) رو کنترل کنن و حتی راه‌حل برای مشکل‌هایی که مدل پیدا میکنه پیشنهاد کنن.
به طور خلاصه این مقاله بهمون نشون میده که نظارت بر سیستم‌های یادگیری ماشین چقدر مهمه و اهالی این حوزه برای آسون‌تر شدن این کار چی میخوان. خلاصه اینکه، اگه قرار باشه آینده ابزارهای مانیتورینگ پیشرفت کنه، باید هم زندگی این آدم‌ها رو راحت‌تر کنه، هم کمک کنه شرکت‌ها با مشکلات غیرمنتظره مدل‌ها روبه‌رو نشن!
منبع: +
