خب بچهها، بیاین یه موضوع باحال تو دنیای هوش مصنوعی رو با هم بررسی کنیم! تا حالا اسم “عوامل نقشباز” یا همون Role-playing Agents یا RPA به گوشتون خورده؟ اینا همون شخصیتهایی هستن که تو بازیها یا رباتها میتونن باهاتون حرف بزنن و مثل یه آدم واقعی نقش بازی کنن. ولی مشکلشون این بوده که معمولاً فقط یه شخصیت ثابت دارن و نمیتونن مثل آدمها که همه چیز رو حس میکنن و تغییر میدن، پویا و متغیر باشن.
حالا یه تیم نوآور اومده و یه ایده خفن پیاده کرده: گفتن چرا فقط به چارتا متن و دیالوگ بسنده کنیم؟ بیایم به این RPAها ویدیو هم بدیم تا مثل آدمها از دنیا چیز یاد بگیرن و عکسالعمل نشون بدن! اینجا ماجرای Video2Roleplay شروع میشه.
اینا یه دیتاست خیلی گنده ساختن به اسم Role-playing-Video60k. یعنی یه مجموعه داده که حدود ۶۰هزار تا ویدیو داره (اصلاً کم نیست!) و یه سر و صد هزار تا دیالوگ مربوط به اون ویدیوها. دیتاست یعنی همون مجموعه اطلاعاتی که هوش مصنوعی باهاش تمرین میکنه و کار یاد میگیره.
حالا قضیه چیه؟ اومدن یه سیستم فریمورک کامل طراحی کردن تا این عوامل نقشباز بتونن هم از نقش اولیه خودشون (که همون پروفایل ساکن یا static profile هست) استفاده کنن، هم بر اساس ویدیوهای جدید، شخصیتشون رو آپدیت کنن (که این میشه dynamic profile یا پروفایل پویا).
مثلاً پروفایل پویا یعنی چی؟ یعنی مدل هوش مصنوعی به شکل هوشمند، فریمهای مهم ویدیو (یعنی هر تیکه مهم از فیلم) رو میگیره و به ترتیب به مدل اصلی (Large Language Model یا LLM، یعنی مدل هوش مصنوعی با مقیاس خیلی بزرگ که کارش پردازش زبانه) نشون میده تا بفهمه تو ویدیو چه خبره.
اما پروفایل ساکن چیه؟ این دو تا بخش داره: یکی دیالوگهای کاراکتر که قبلاً تو ویدیوهای آموزشی بوده براش، یکی هم خلاصهای از ویدیوی جدید که موقع جواب دادن بهش داده میشه.
اینا با ترکیب این دو حالت (پویا و ساکن)، تونستن RPای درست کنن که جوابها و واکنشهاش خیلی بهتر و منطقیتر از قبل بشه. دیگه مثل قبل نیست که فقط حرفِ خودش رو بزنه؛ الان میتونه بر اساس چیزی که همین الان تو ویدیو میبینه، واکنش نشون بده.
برای اینکه بفهمیم این سیستم چقدر جواب میده، اومدن یه روش ارزیابی خیلی دقیق هم طراحی کردن که هشت تا شاخص مختلف رو بررسی میکنه (اصلاً همین بهش اعتبار داده).
نتیجه آزمایشها هم نشون داده که واقعاً این روش، نقشبازها رو خیلی پیشرفتهتر میکنه؛ چون حالا دیگه میتونن به صورت پویا و بر اساس اطلاعات جدید ویدیویی، نقش بازی کنن.
در کل این مقاله یعنی اینکه هوش مصنوعی دیگه فقط با متن کار نمیکنه، بلکه ویدیو رو هم میبینه و میتونه تو نقشهای متفاوت و جذاب، باهاتون تعامل داشته باشه؛ دقیقاً مثل یه شخصیت هوشمند واقعی!
منبع: +
