تا حالا به این فکر کردی موزیسین‌ها چجوری وسط بداهه‌نوازی (یعنی وقتی بدون برنامه قبلی، موقع اجرا آهنگ رو خلق می‌کنن) با هم ارتباط می‌گیرن؟ کلی رمز و راز و احساسات ریز وجود داره که خودشون ناخودآگاه می‌فهمن و جواب میدن. ولی حالا اگه یه موزیسین مجازی بیاد وسط، مثلاً یه سیستم کامپیوتری یا یه هوش مصنوعی که می‌خواد با یه آدم «جَم بزنه»، چجوری باید این ارتباط رو برقرار کنه؟ این یکی از کارای سختیه که محقق‌ها هنوزم دارن روش کار می‌کنن.
تا امروز معمولاً با سنسورهایی مثل MIDI (یه جور سیستم انتقال اطلاعات موسیقی بین سازها و کامپیوتر)، صدا و تصویر، اطلاعات موسیقی رو به سیستم‌های هوشمند منتقل می‌کردن. اما یه ایده جالب‌تر هم هست: اگه بتونیم اطلاعات موسیقی رو مستقیم از مغز بگیریم چی؟
اینجاست که پروژه «BrAIn Jam» وارد میشه. داستان اینه: یه تیم پژوهشی اومدن از روشی به اسم functional near-infrared spectroscopy یا همون fNIRS (یه دستگاهیه که با نور مادون قرمز نزدیک، فعالیت مغز رو موقع اجرا دنبال می‌کنه و اصلاً کاری با سیم و دردسرهای EEG و غیره نداره) برای بررسی وضعیت مغزی نوازنده‌ها استفاده کردن. یعنی چی؟ یعنی موقعی که یه نوازنده درام (درامر) با یه موزیسین مجازی که هوش مصنوعی داره، جَم می‌زنه، این دستگاه وضعیت مغزش رو لحظه به لحظه پایش می‌کنه.
اما کاری که این پروژه انجام داده فقط سنجش مغز نبوده! این تیم یه الگوریتم پردازش داده آنی (real-time) ساخته که می‌تونه سیگنال‌های مغزی نوازنده رو همزمان تحلیل کنه. با این کار، وقتی وضعیت مغزی نوازنده عوض میشه، رفتار موزیسین مجازی هم تطبیق پیدا می‌کنه و ریتم خودش رو تغییر میده. یعنی هوش مصنوعی دقیقاً برمبنای حالت فکری و احساسی هم‌تیمی انسانی، نحوه درام زدن و موسیقی رو تغییر میده! جالب شد نه؟
کل پروژه رو تو دو مرحله انجام دادن: اول، اطلاعات مغزی نوازنده‌ها رو توی یه آزمایش کنترل‌شده جمع‌آوری کردن و با اون داده‌ها، مدل یادگیری ماشین (machine learning یعنی سیستم آموزشی کامپیوتری که می‌تونه الگوها رو تو داده‌ها پیدا کنه) مخصوص هر نفر رو آموزش دادن. بعدش تو مرحله دوم، همون مدل رو گذاشتن کنار نوازنده واقعی و یه موزیسین مجازی درست کردن که تحت کنترل الگوریتم‌ها با درامر همکاری می‌کنه و واکنش نشون میده.
توی مقاله‌شون کلی درباره اینکه کدوم قسمت مغز توی بداهه‌نوازی و همکاری با این موزیسین مجازی فعال میشه تحقیق کردن. همچنین چند مدل یادگیری ماشین مختلف رو با هم مقایسه کردن ببینن کدوم بهتر جواب میده. بعدش هم با خود شرکت‌کننده‌ها مصاحبه کرده‌ن تا بدونن حس واقعی و چالش‌ها از زبان نوازنده‌ها چیه و طراحی این سیستم چقدر به دل موزیسین‌ها می‌شینه.
آخرش هم درباره اینکه با تکنیک‌هایی مثل همین fNIRS چه فرصت‌ها و چالش‌هایی پیش میاد صحبت کردن. تازه گفتن شاید بشه اطلاعات فیزیولوژیکی دیگه هم به هوش مصنوعی داد، مثلاً ضربان قلب یا میزان عرق کف دست(!)، تا موزیسین مجازی بیشتر شبیه یه هم‌تیمی واقعی رفتار کنه.
در کل، پروژه BrAIn Jam یه قدم جدید و هیجان‌انگیز برای همکاری خلاقانه موزیسین‌ها و هوش مصنوعی با استفاده از سیگنال‌های مغزیه. میشه گفت آینده موسیقی تعاملی و بداهه‌نوازی با ربات‌ها و سیستم‌های هوشمند خیلی جذاب‌تر خواهد شد! چه زمانی برسه که همه بتونن با یه موزیسین مجازی که حالشون رو از روی مغزشون می‌فهمه جَم بزنن!
منبع: +
