امروز میخوام یه روش خفن به اسم PESTalk رو بهتون معرفی کنم که واقعاً قراره دنیای انیمیشن سهبعدی رو عوض کنه! داستان از اینجا شروع میشه که تیمی از محققها اومدن یه روش ساختن که باهاش فقط با حرف زدن، میشه انیمیشن سهبعدی صورت ساخت – اونم نه یه چهره خشک و بیاحساس، بلکه حسابی باحس و مثل خود آدمها، اختصاصی برای هر نفر!
تا الان هر چی روش برای ساختن انیمیشن صورت بوده، معمولاً مشکل داشتن. یا خیلی عمومی بودن و احساس رو درست منتقل نمیکردن، یا نهایتاً تو بعضی حالتها خوب جواب میدادن. اما PESTalk اومده این مشکلها رو حل کنه با یه ایده باحال. میپرسید چطوری؟
اول، یه چیزی داره به اسم Dual-Stream Emotion Extractor (یا همون DSEE). بذار راحتتر بگم: این بخش میاد صدای آدم رو از دو طرف بررسی میکنه: هم زمان، یعنی کی حرف زده و مکثها و تغییرات صدا کیه، هم از نظر فرکانس، یعنی همون اوج و فرودهای صدا. خلاصه، به ریزترین نکات احساسات تو صدا گیر میده که بفهمه واقعاً طرف چه حسی داره: مثلا ناراحته، خوشحاله یا عصبیه.
دوم، یه ماژول دیگه داره به اسم Emotional Style Modeling Module (یا همون ESMM). این یکی میاد سبک بیان هر آدم رو میگیره. بذار سادهتر کنم: مثلاً لهجه و تم صدای هر کسی فرق داره، این بخش دقیقاً اونها رو مدل میکنه که انیمیشن صورتت دقیقاً مثل حالت حرف زدنت باشه، نه یه چیز عمومی و بیروح. مثلاً بعضیا موقع حرف زدن لبهاشون زیاد تکون میخوره، بعضیا نه خیلی؛ این ماژول این تفاوتا رو در نظر میگیره.
حالا یه مشکل مهم این بود که معمولاً داده برای آموزش این مدلها خیلی کمه. اما این تیم اومدن یه دیتاست جدید ساختن به اسم 3D-EmoStyle. دیتاست یعنی کلی نمونه صوت و تصویر که میشه باهاش به هوش مصنوعی یاد داد چطوری کارشو خوبتر انجام بده. این دیتاست جدید کلی حالت مختلف احساسی رو پوشش میده و کمک میکنه مدل بهتر یاد بگیره.
نتیجه؟ تستها و ارزیابیها نشون داده که PESTalk تونسته همه تکنیکهای قبلی رو قشنگ شکست بده و انیمیشنهایی درست کنه که نه فقط واقعیتر، که مخصوص خود هر نفر و با احساسترن. یعنی هر کسی با حرف زدن، یه آواتار سهبعدی میتونه داشته باشه که دقیقاً احساساتش رو نشون بده! خلاصه خیلی باحاله، مخصوصاً واسه ساخت بازی و فیلم و حتی جلسات آنلاین.
اگه اهل حوزه هوش مصنوعی هستی یا به تولید محتوا علاقه داری، بدون که PESTalk یعنی یه قدم رو به آینده: یه هوش مصنوعی که فقط با صدای تو، چهرهات رو اونجوری نشون میده که خودت حرف میزنی و حس نشون میدی! (هوش مصنوعی یعنی همون AI که خودش یاد میگیره و کارهایی انجام میده که قبلاً فقط آدمها میتونستن انجام بدن).
منبع: +
