بیا یه خبر جالب از دنیای هوش مصنوعی رو باهات درمیون بذارم! یه تیم خفن به اسم Multiverse Computing اومدن یه روش فشرده‌سازی جدید به اسم CompactifAI رو امتحان کردن رو یه مدل زبون بزرگ—اسمش Llama 3.1 8B هست. مدل زبانی یا Large Language Model یعنی همون مغزای نرم‌افزاری بزززرگی که می‌تونن کلی متن رو بفهمن، ترجمه کنن، یا حتی خودشون محتوا تولید کنن!
داستان چیه؟ خب مشکل اینجاست که این مدل‌های غول‌آسا کلی قدرت پردازشی می‌خوان و مصرف برقشون هم کم نیست. اما حالا با این CompactifAI، هدف این بوده که مدل رو کوچیک‌تر کنن، اما همچنان باهوش بمونه! یعنی هم دقتش حفظ شه، هم دیگه مثل غول‌ها جا و انرژی نخواد.
حالا بریم سر اصل مطلب: تو این تحقیق، اومدن دو تا مدل رو باهم مقایسه کردن. یکی همون Llama 3.1 8B اصلی، یکی هم Llama فشرده‌شده با CompactifAI. برای اینکه مطمئن شن واقعاً تفاوتشون چیه، دو تا فاکتور مهم رو بررسی کردن: یکی “مصرف انرژی” و یکی “دقت مدل”. مصرف انرژی رو با یه ابزار به نام Codecarbon سنجیدن (Codecarbon یعنی یه نرم‌افزار که میزان برق مصرفی الگوریتم رو حساب می‌کنه). واسه دقت مدل هم از Ragas کمک گرفتن (Ragas هم یعنی یه چارچوب که میاد کارایی مدل زبان رو اندازه می‌گیره).
نتیجه چی شد؟ این CompactifAI واقعاً ترکوند! مدل فشرده‌شده نه تنها مصرف منابع محاسباتی (یعنی سخت‌افزار، رم، برق و اینا) رو شدیداً کم کرد، بلکه دقت مدل هم فرقی نکرد—یعنی هیچ در حد مدل اصلی باقی موند. این یعنی می‌تونی مدل رو ببری رو دستگاه‌های کوچیک‌تر، یا حتی با هزینه کمتر روی پروژه‌های بزرگ اجرا کنی، بدون اینکه نگران باشی هوش مصنوعیت هم هوش از سرش پریده!
خلاصه‌ش اینکه اگه اهل هوش مصنوعی و مدل‌های زبانی باشی، این روش جدید فشرده‌سازی CompactifAI یه راه حل واقعاً خلاقانه و مفید برای کم کردن هزینه‌ها و بالا بردن بازدهی مدل‌هاست، بدون اینکه از دقت یا کیفیت چیزی کم بشه. حالا دیگه می‌تونیم توقع داشته باشیم مدلای هوشمند، سبک‌تر و ارزون‌تر و بدون استرس مصرف برق زیاد، وارد زندگی‌مون بشن!
منبع: +
