خب بچه‌ها، بذارید یه موضوع خفن رو باهاتون درمیون بذارم! اخیراً حسابی سر و صدای هوش مصنوعی و به‌طور خاص مدل‌های زبانی بزرگ (که بهشون LLM هم میگن، مثل ChatGPT و رفقاش) تو تنظیم و عیب‌یابی شبکه‌ها بالا گرفته. یعنی دیگه این سیستم‌ها می‌تونن خودشون راه حل پیشنهاد بدن، تنظیمات بنویسن و حتی بفهمن کجای شبکه مشکل داره! مثلاً مدل‌های LLM یعنی اینایی که یه عالمه داده و متن بلدن و می‌تونن تقریباً به هر سوال یه جواب باحال بدن.
حالا این مقاله‌ای که داریم درباره‌ش حرف می‌زنیم، اومده سراغ یه گوشه جالب از این داستان: عیب‌یابی شبکه با هوش مصنوعی. بذارین خیال‌باز بازی در نیاریم؛ یه شبکه رو می‌خوای درست کنی یا مشکلی پیدا کنی، کلی داستان و دردسر داره! معمولاً یا باید کلی آدم حرفه‌ای جمع بشن، یا باید آزمون و خطا کنی تا بفهمی کجا گره کور شده. ولی اگه هوش مصنوعی بیاد وسط و خودش بتونه مسائل رو بشناسه و حل کنه، دیگه همه چی انقلابی می‌شه!
اما بچه‌ها، یه دردسر این وسط هست: هرکی میاد برای خودش یه مدل هوش مصنوعی می‌سازه، بعدش یکی میگه مدل من بهتره، یکی دیگه میگه نه مال من. آخرش هم معلوم نیست کی راست میگه، چون کسی معیار مشخصی برای مقایسه اینا نداره. حالا اومدن میگن خب که چی؟ باید یه زمین بازی درست کنیم که همه بتونن هوش مصنوعی‌های خودشون رو اونجا تست کنن و مقایسه کنن! به این میگن «benchmarking platform»، یعنی یه پلتفرم که معیار و استاندارد می‌ده تا بشه مدل‌های مختلف رو راحت مقایسه کرد.
جو داستان اینه که این مقاله تاکید می‌کنه باید یه همچین چیزی کاملاً باز و استاندارد درست کنیم که همه بتونن راحت واردش شن، هرکسی مدل خودش رو بیاره آزمایش کنه، با حداقل دردسر و پیچیدگی. یعنی همه چی شفاف و ساده باشه؛ لازم نباشه صد تا چیز قفل‌شکن رو نصب کنی یا سر هر خطا دود از سرت بلند شه! تازه اینکه نتایجش هم تکرارپذیر باشه، یعنی اگه من یه تست گرفتم و تو همون تست رو گرفتی، نتیجه‌ها شبیه باشه، نه اینکه تصادفی بشن.
یه توصیه جالب هم دارن: باید کاری کنیم که هر تیم یا محققی، بدون اینکه بخواد کل سیستم رو عوض کنه یا هیچی از نو بسازه، بتونه مدل خودش رو تو این پلتفرم تست کنه. خلاصه یه جور دم‌دست و همه‌گیر، انگار رفتی زمین بازی محله، توپتو بردی و گفتی بذار ببینیم من بهتر می‌زنم یا تو!
در آخر بگم که این مقاله تازه اول راهه و می‌خواد این ایده رو بندازه تو جریان؛ یعنی تا حالا همچین پلتفرمی نداشتیم یا اگر بوده همه بسته یا سخت‌گیر بوده، اما الان هدف اینه که فضای آزمایش و بررسی هوش مصنوعی شبکه حسابی دم‌دست و همه‌پسند و عادلانه باشه.
پس اگه تو هم دنبال اینی که با هوش مصنوعی، عیب‌یابی شبکه رو آسون‌تر کنی، یا دوست داری هوش مصنوعیت رو با بقیه مقایسه کنی، بدون که قرار یه زمین بازی جالب و باز برای همه ساخته بشه!
منبع: +
