خب، امروز می‌خوام یه موضوع خیلی باحال رو براتون تعریف کنم که هم توی دنیای هوش مصنوعی تازه است، هم یه کم عجیبه: اینکه چجوری چندتا ربات یا ایجنت (Agent یعنی همون نرم‌افزارهای باهوش یا رباتایی که خودشون می‌تونن تصمیم بگیرن) تو محیط خودشون خودشون یه زبون مشترک اختراع می‌کنن بدون اینکه کسی (یعنی برنامه‌نویس‌ها یا محقق‌ها) براشون از قبل قوانینی بذاره!
موضوع اصلی مقاله اینه که تو سیستم‌های یادگیری تقویتی چندعاملی یا همون “MARL” (Multi-Agent Reinforcement Learning یعنی سیستم‌هایی که توش چندتا ایجنت با هم یا علیه هم یاد می‌گیرن و تعامل دارن)، همیشه یه مشکلی بوده به اسم «معضل اکتشاف مشترک» یا Joint Exploration Dilemma. خلاصه‌ش یعنی اینکه وقتی چندتا ربات می‌خوان با همدیگه حرف بزنن و باهم همکاری کنن، اگه فقط به حال خودشون ولشون کنیم، معمولا هیچ ارتباط مفهومی واقعی ایجاد نمی‌شه یا همون Communication Vacuum Equilibrium! یعنی یه تعادلی برقراره که هیچکس حرف نمی‌زنه!
محلولای قدیمی‌تر چی کار می‌کردن؟ میومدن خودشون یه سری جهت‌گیری و الگوریتم از بیرون می‌ذاشتن تا این رباتا شروع کنن به ارتباط گرفتن. اینو بهش می‌گن Inductive Bias یعنی سوگیری‌های از پیش تعیین‌شده‌ای که ما به سیستم تزریق می‌کنیم تا بهتر کار کنه.
حالا حرف خفن این مقاله اینه: شاید اصلا این همه دستکاری و مهندسی اضافی زیادی باشه! واقعاً باید انقدر برای رباتا خط و نشون بکشیم؟
اینا اومدن یه سیستمی به اسم “AIM” یا AI Mother Tongue درست کردن. این فریم‌ورک براساس یه تکنولوژی به اسم VQ-VAE ساخته شده.
حالا اگه اسمش براتون عجیبه: VQ-VAE یعنی Vector Quantized Variational Autoencoder؛ یه معماری شبکه عصبیه که می‌تونه اطلاعات رو جمع و جور و رمزگذاری کنه و یه جورایی مثل فشرده‌سازی مفهومی مغز کار می‌کنه.
اینا نشون دادن اگه بذاری این ایجنت‌ها (همون رباتا) خودشون یه سیستم نمادین داخلی بسازن (Endogenous Symbol System یعنی هر ربات خودش برای مفاهیم مختلف یه نشونه یا دویاره‌ی مخصوص می‌سازه)، خودشون کم‌کم به یه زبون مشترک می‌رسن! یعنی بی‌هیچ جهت‌دهی بیرونی، خودشون هم مفاهیم رو ساده‌سازی می‌کنن (Semantic Compression یعنی فشرده‌سازی مفهومی) و هم اختلاف تو مفاهیم رو خودشون حل می‌کنن تا به یه تعادل برسن که توش زبونشون کار کنه (یه چیزی نزدیک Nash Equilibrium که یعنی بهترین استراتژی مشترک واسه همه بدون اینکه انگیزه‌ای به تغییر بدن).
جالبیش اینجاست که این کشفیات با یافته‌های جدید عصب‌شناسی هم جور درمیاد که می‌گه مغز انسان هم واقعاً برای فکرای داخلیش دقیقاً از زبان حرف زدن استفاده نمی‌کنه و بیشتر یه جور مدل‌سازی نرم یا نیمه‌شفاف داره. مثل چیزی که تو LLMها – همون مدل‌های زبانی بزرگ مثل چت‌جی‌پی‌تی – بهش می‌گن Soft Thinking یا تفکر غیر صریح و نرم، که مثلاً مدل چیزا رو می‌فهمه اما الزاماً جلمه‌بندی انسانی نمی‌کنه.
یه مقایسه هم با روشای قبلی انجام دادن و دیدن که همین روش AIM قشنگ تو انتقال مفاهیم و همکاری بین رباتا کارآمدتر و قابل تعمیم‌تر عمل می‌کنه. یعنی اگه بخوایم سیستم ارتباطی برای ایجنت‌ها درست کنیم، بهتره بذاریم خودشون به روش خودشون به ابزارها و مفاهیم برسن تا اینکه همه چی رو ما براشون بجوییم!
برای اینکه بفهمن این ارتباط چطور شکل می‌گیره، یه جعبه ابزار تحلیلی (Interpretable Analysis Toolkit یعنی ابزار تحلیلی‌ای که نتایجش رو می‌تونیم راحت تفسیر کنیم) ساختن و دیدن چیا؟ اینکه مثلاً استفاده رباتا از نشونه‌ها و نمادهاشون یه قانون توزیع خاص داره به اسم Power-law Distribution. این یعنی تعداد کمی از نمادها خیلی زیاد و مابقی کمتر استفاده می‌شن – یه الگوی جالب که تو طبیعت و زبان آدم‌ها هم زیاده.
نتیجه‌های نظری جالبی هم گرفتن:
۱. Neural Communication Hypothesis: فرضیه‌ای که می‌گه ارتباط بین ایجنت‌ها خیلی شبیه چیزیه که تو مغز بین نورون‌ها رخ می‌ده.
۲. Tool-First Principle: یعنی اول ابزار ساخته می‌شه، بعد معنا براش پیدا می‌کنن.
۳. Semantic Interpretability Paradigm: یعنی بهتره به جای اجبار به تعریف‌های سفت‌وسخت، بذاریم سیستم خودش کنجکاوی کنه و مفهوم استخراج کنه.
برای آینده هم گفته که می‌خوان روشای پیشرفته‌تر مثل HQ-VAE (یعنی نسخه سلسله‌مراتبی‌تر VAE که مفاهیم پیچیده‌تری رو با جزئیات بیشتر فشرده‌سازی می‌کنه) رو اضافه کنن و همچنین بررسی کنن ببینن اگه یه مرحله یادگیری پایه کوتاه‌مدت (RL Low-Level Pre-training) بذارن، چقدر کمک می‌کنه ایجنت‌ها راحت‌تر زبون جدیدشون رو پیدا کنن.
خلاصه حرف مقاله اینه: اگه بذاری هوش‌مصنوعی‌ها خودشون با خودشون تعامل کنن و نمادسازی و رمزگذاری داخلی خودشون رو داشته باشن، خودشون یاد می‌گیرن حرف بزنن و همکاری کنن – بدون نیاز به جهت‌دهی و مهندسی مزاحم از بیرون. این کار شاید بتونه یه پل بین دو دنیای نظری مهم بسازه: «نمادباوری» (Symbolism یعنی همه چی باید با تعریف نمادهای خاص مشخص شه) و «اتصال‌گرایی» (Connectionism یعنی شبیه مغز؛ یعنی یادگیری از طریق اتصال‌ها و شبکه‌های پیچیده عصبی).
خلاصه کل ماجرا اینه: شاید وقتشه بذاریم بچه‌رباتا خودشون زبون خودشونو یاد بگیرن و باهم قرار بذارن، ما فقط تماشا کنیم و کنجکاو باشیم چی درمیاد! 😄
منبع: +
