این روزها شبکه‌های عصبی (Neural Networks) حسابی معروف شدن و همه‌جا حرفشون هست. وقتی می‌خواید از این شبکه‌ها استفاده کنید (بهش میگن کار inference یا نتیجه‌گیری از شبکه)، باید بتونید سریع و کم‌هزینه اجراشون کنید؛ مخصوصاً وقتی کلی داده و عملیات پیچیده وسطه!
حالا هرکدوم از این شبکه‌ها رو میشه شبیه یک گراف محاسباتی (Computational Graph) تصور کرد. یعنی یه سری نقطه که به هم وصلن و هرکدوم یه کاری روی داده‌ها انجام میدن. این داده‌ها اغلب به شکل «تنسور» هستن — با حالا یه توضیح کوچیک:
- تنسور (Tensor): یه نوع آرایه چندبعدیه، مثلاً یه جدول خیلی بزرگ و چندبُعدی که داده‌ها توش چیده شدن.
حالا نکته‌ش اینه که این تنسورها می‌تونن به روش‌های مختلفی تو حافظه صفحه‌بندی یا قطعه‌بندی بشن. به این کارها میگن Transpose (جابجایی ابعاد) یا Tiling (تکه‌تکه کردن تنسور به قطعات کوچیک‌تر). تعداد حالت‌هایی که میشه این کارها رو انجام داد خیلی خیلی زیاده! و بعضی چیدمان‌ها باعث میشه اجرای شبکه خیلی سریع‌تر بشه.
تا امروز معمولاً یه سری کامپایلر بر پایه حدس و گمان (Heuristics — یعنی روش‌های سرانگشتی و تجربی) این کار رو انجام می‌دادن، اما خیلی وقتا بهترین جواب رو پیدا نمی‌کردن. حالا اینجا پای یه مدل هوش مصنوعی جدید به اسم TGraph به میون اومده:
TGraph چیه دقیقاً؟
TGraph یه مدل گراف عصبی (Graph Neural Network یا به اختصار GNN) ساخته که می‌تونه بین این هزاران حالت مختلف، سریع‌ترین و بهترینش رو انتخاب کنه. در واقع شبیه یه کامپایلر هوشمند برای تنسورهای شبکه‌های عصبیه که با روش‌های هوشمندانه (و نه حدسی) میره سراغ پیدا کردن ترکیب بهینه.
جالب‌تر اینه که مدل TGraph از یه ایده خیلی جالب به اسم configuration cross-attention استفاده می‌کنه، یعنی با دقت به ارتباط بین کانفیگ‌ها توجه می‌کنه تا تصمیم بهتری بگیره.
خب، نتیجه این همه بازی با هوش مصنوعی چی شد؟
طبق نتایج شون، این مدل تونسته شاخص اصلاح شده کندال (Kendall’s τ — یه معیار برای سنجش رتبه‌بندی‌ها) رو از ۲۹.۸٪ (که برای روش‌های سنتی بود) به ۶۷.۴٪ برسونه! یعنی عملاً دقت پیدا کردن بهترین ترکیب نسبت به قبل بیشتر از دو برابر شده.
اما فواید فقط سریع‌تر شدن نیست — محقق‌ها تخمین زدن این بهینه‌سازی‌ها می‌تونه اون‌قدر مصرف انرژی دیتاسنترهایی که برای AI ساخته شدن رو کم کنه که معادل نصف کل مصرف برق خانوارها تو اون مناطق میشه. یعنی جدای از صرفه‌جویی در هزینه، کمک زیادی هم به محیط زیست می‌کنه و جلوی کلی انتشار دی‌اکسیدکربن رو می‌گیره.
پس خلاصه چی شد؟
یه مدل GNN جدید (TGraph) باهوش‌تر و سریع‌تر از روش‌های قبلی اومده که می‌تونه کامپایلرهای AI رو خیلی بهینه‌تر کنه. هم صرفه‌جویی وقت و هزینه داره، هم حال زمین رو بهتر می‌کنه! اگه دوست داری بدونی این تکنیک‌ها چطوری یه‌شبه دنیای کامپایلرها رو تکون میدن، مثال TGraph رو از دست نده.
منبع: +
