خب بچهها اگه اهل هوش مصنوعی و یادگیری تقویتی باشید، حتماً اصطلاح «یادگیری تقویتی با چند هدف» یا همون Multi-Objective Reinforcement Learning (که به اختصار میگن MORL) به گوشتون خورده. قضیه اینجوریه که بعضی وقتها الگوریتمها فقط دنبال یه هدف نیستن و باید همزمان چندتا هدف رو وزندهی کنن و بهینه کنن. مثلا فرض کن رباتت میخواد هم سریع بره سر مقصد و هم کمترین انرژی رو مصرف کنه!
حالا دانشمندها اومدن یه الگوریتم جدید به اسم Deep Q-Managed ساختن که واقعاً کار راهاندازه واسه این جور چالشها! در واقع این الگوریتم سعی میکنه همهی پالیسیهایی که روی مرز پارتو هستن رو پیدا کنه. (مرز پارتو رو اگه ندونین یعنی مجموعهای از جوابها که دیگه هیچ راهی نیست یه هدف رو بهتر کنیم و در عوض یه هدف دیگه رو خراب نکنیم! یه جوری همون بهترین راهکارهای ممکن بین چندتا هدفه.)
چیزی که Deep Q-Managed رو خاص میکنه اینه که از تکنیکهای عمیق یادگیری، مثل Double Networks و Dueling Networks استفاده میکنه. اگه این اسمها براتون جدیدن:
- Double Networks یعنی یه ترفند هوشمندانه واسه اینکه مغز الگوریتم کمتر تو تخمین خودش اغراق کنه (اینو میگن overestimation bias)
- Dueling Networks یه معماری باحاله که به الگوریتم کمک میکنه بفهمه چقدر یه اکشن، جدا از شرایط، میتونه سودمند باشه.
یکی از مشکلات قدیمی یادگیری تقویتی چندهدفی، این بوده که هرچی بعد و هدف بیشتر بشه (یعنی مشکلات «منحنی بعد»)، پیدا کردن راهحلها سختتر میشه و الگوریتمها معمولاً گیر میافتادن. این الگوریتم جدید کلی بهتر شده و میتونه تو محیطهای مختلف و پیچیده (چه مرز پارتوش محدب باشه یا مقعر یا ترکیبی!) جواب بده.
حالا اومدن این Deep Q-Managed رو روی چندتا بنچمارک معروف MORL تست کردن:
- Deep Sea Treasure
- Bountiful Sea Treasure
- Modified Bountiful Sea Treasure
که در هر کدومش تقریباً تونسته حداکثر مقدار hypervolume رو بگیره. (Hypervolume یعنی یه مقیاس واسه اندازهگیری اینکه چقدر خوب داری همه پالیسیهای خوب رو پوشش میدی. هرچی بزرگتر باشه یعنی راهحلهایت متنوعتر و کاملتر هستن.) مثلاً برای DST عدد ۱۱۵۵، برای BST عدد ۳۳۵۲ و برای MBST عدد ۲۶۳۲ رو تونسته ثبت کنه که خیلی خفنه!
نکته مهم اینه که این روش الان تو محیطهای قطعی و اپیزودیک تست شده — یعنی همهچیز قابل پیشبینی بوده و محیطها مرحله به مرحله قراره جلو برن — و هنوز تو محیطهای تصادفی و پیشبینیناپذیر ارزیابی نکردن (این رو گذاشتن برای کارهای بعدی).
جالب اینه که دیپ Q-Managed میتونه کاربردهای عملی زیادی داشته باشه، مثلاً تو رباتیک، امور مالی یا حتی حوزه سلامت، چون واقعاً لازمه چندین هدف با هم کنترل بشن و انتخاب پالیسی درست خیلی مهمه.
در کل اگر دنبال روشی هستید که همه جوابهای برتر بین چند هدف رو پیدا کنه، الگوریتم Deep Q-Managed گزینه خیلی جذابیه و آینده جالبی براش دیده میشه!
منبع: +
