تا حالا فکر کردی کمیک‌هایی که دوست داری، می‌تونستن صدا و احساس هم داشته باشن؟ یعنی نه فقط بخونی، بلکه صداهای شخصیتا رو بشنوی و احساساتشون رو راحت‌تر بفهمی؟ خب، یه تیم باحال اومدن یه تکنولوژی ساختن که دقیقاً همین کارو می‌کنه!
داستان چیه؟ این بچه‌ها یه مسیر کامل (یا همون pipeline) درست کردن که بتونه برای کمیک‌ها، به طور خودکار و بی‌دردسر، صداهایی بسازه که دقیقاً به هر شخصیت و حسش بخوره. یعنی مثلا وقتی شخصیت اصلی عصبانیه، صدای خودش رو با همون حس عصبانیت می‌شنوی!
خب حالا این سیستم چجوری کار می‌کنه؟ چند تا مرحله داره:
-
تشخیص شخصیت‌ها (Character Detection): اول از همه، با پردازش تصویر (Image Processing)، شخصیت‌های مختلف کمیک رو تو هر صفحه پیدا می‌کنه. یعنی خودش می‌فهمه کی با کی داره حرف می‌زنه و تو هر بخش کمیک کی حضور داره.
-
شناسایی متن (Text Recognition): بعدش دوباره با همون پردازش تصویر، متن‌هایی که توی حباب‌های حرف (یعنی همون speech bubbleها) هست رو می‌خونه. پس می‌فهمه هر شخصیت دقیقاً چی گفته.
-
تشخیص شدت احساسات (Emotion Intensity Recognition): اینجا دیگه باحالش شروع میشه! با توجه به چهره شخصیت و جمله‌ای که گفته، سعی می‌کنه بفهمه این حرف با چه احساسی زده شده – مثلاً خنده، ناراحتی، عصبانیت و غیره.
-
مدل زبانی بزرگ (Large Language Model): این یعنی یه هوش مصنوعی باحال که می‌تونه متن و تصویر رو با هم تحلیل کنه. مثلا توی کمیک فقط ظاهر شخصیت مهم نیست، بلکه داستان و متن هم نقش داره. این مدل کمک می‌کنه بفهمه دقیقاً چه اتفاقی در داستان افتاده، کی به کی چی گفته و حسش چی بوده.
-
تبدیل متن به گفتار (Text-to-Speech): خب حالا که همه چی روشن شد، باید صدا تولید کنه. اینجا با یه مدل هوشمند دیگه برای هر شخصیت و برای هر حس، یه صدای ویژه و مخصوص می‌سازه. یعنی اگه شخصیت غمگینه، صدای غمگین؛ اگه هیجان‌زده‌ست، صدای هیجان‌زده و الی آخر. هر شخصیت یه “پروفایل صوتی” مخصوص به خودش داره!
همه اینا رو که بچسبونی به هم، نتیجه چیه؟ کمیک‌هایی که می‌خونی خودشون برات صداگذاری می‌کنن – اونم کاملاً خودکار و با رعایت احساسات و تفاوت‌های شخصیتا. این یعنی تجربه خوندن کمیکا چند برابر جذاب‌تر و تعاملی‌تر میشه.
این کار یه قدم جدید برای تعاملی و باحال‌تر کردن کمیک‌هاست و حتی می‌تونه برای نابیناها یا کسایی که خوندن براشون سخته، خیلی به درد بخوره. خلاصه که آینده خوندن کمیک، همینجاست!
منبع: +
