بیا با هم یه نگاهی بندازیم به اینکه آیا واقعاً میشه با کمک صدا و تصویر، یه اثر هنری رو جذاب‌تر کنیم یا یه جورایی «تقویت»ش کنیم. این چیزی هست که بهش میگن crossmodal augmentation؛ یعنی هنر رو نه فقط با یه حس، بلکه با ترکیبی از حس‌ها مثل شنوایی و بینایی تجربه کنیم تا تاثیر بیشتری بذاره. مثلاً فکر کن داری یه نقاشی فوق‌العاده می‌بینی و همزمان یه موزیک خاص بهت پخش میشه که احساس اون نقاشی رو بیشتر بهت منتقل کنه. خیلی باحاله نه؟
حالا بریم یکم تخصصی‌ترش کنیم؛ دانشمندا و پژوهشگرها این ماجرا رو بر اساس سه دسته کلی بررسی کردن:
-
پایه‌ای‌ترین حالتش اینه که صدا و تصویر هر کدوم به تنهایی یه واکنش ازت بگیرن (به اینا میگن basic correspondences، یعنی اون هماهنگی‌ها یا تطابق‌های اولیه بین حس‌ها. مثلاً یه صدای تیز بهت حس رنگ روشن یا شکل نوک‌تیز میده).
-
سطح وسطی هم وجود داره: اینجا با چیزهایی سر و کار داریم که تغییر می‌کنن، یا چند تا حس با هم ترکیب میشن. به این میگن mid-level correspondences. مثلاً وقتی صدا و نور با هم بالا و پایین میشن و مغزت اونا رو مرتبط حس می‌کنه.
-
بالاترین سطحش هم میره تو کارهنرای پیچیده‌تر؛ یعنی مثلاً موسیقی یا نقاشی‌هایی که واقعاً معنی دارن و احساس منتقل می‌کنن. اینا complex correspondences هستن؛ جایی که ترکیب صدا و تصویر یا هر حس دیگه واقعاً می‌تونه به احساس و درک کار اضافه کنه.
یه نکته هم اینجا هست که بعضیا با هم قاطی می‌کنن: توی مطالعاتی که در مورد crossmodal بودن انجام میشه، دو مدل بررسی داریم؛ یکی crossmodal matching (یعنی تطابق دادن چیزها تو حس‌های مختلف) و یکی دیگه crossmodal effects (یعنی تاثیرگذاری متقابل میان حواس). این دوتا با هم فرق دارن و گاهی کار رو گیج‌کننده می‌کنه! مثلاً crossmodal mapping یعنی تطبیق دادن تجربه یه حس با یه حس دیگه (مثل اینکه صدای یه ساز رو با رنگش مرتبط بدونی)، ولی crossmodal effect یعنی اون حس دوم واقعاً روی احساس و تجربه‌ات تاثیر بزاره.
حالا یکی از بحث‌های داغ تو این حوزه، اینه که آیا اصلاً میشه یه اثر هنری رو از یه مدل حسی به یه مدل دیگه «ترجمه» کرد؟ مثلاً یه تابلوی نقاشی رو تبدیل به یه قطعه موسیقی کنیم؟ واقعیت اینه که نه، به طور کامل امکان‌پذیر نیست. اما این دلیل نمیشه که نشه با اضافه کردن یه حس دیگه (مثلاً اضافه کردن صدا به تابلو یا برعکس)، ارزش هنری یا تجربه اون اثر رو زیاد کرد.
خیلی از هنرمندها و طراحا، وقتی می‌خوان تجربه هنری رو قوی‌تر کنن، میان این حس‌ها رو با هم ترکیب می‌کنن. این کار برای اینه که با تحریک چندتا حس (مثلاً هم صدا و هم تصویر)، مغز ما بیشتر درگیر شه و احساس عمیق‌تری پیدا کنه.
البته همه چیز هم گل و بلبل نیست! یه سری مشکلات و تله هم سر راه کسایی هست که می‌خوان با ترکیب صدا و تصویر، هنر رو تقویت کنن. یکی از بزرگ‌ترین این دردسرها هم داستان «سینستزیا» یا «هم‌حسی»ه. سینستزیا یعنی بعضیا وقتی صدایی می‌شنون، رنگ هم حس می‌کنن یا برعکس. بعضی طراحا از این پدیده استفاده می‌کنن، اما گاهی باعث حواس‌پرتی میشه و حتی ممکنه توجه به اصل هنر رو کم کنه. پس هرچی هم این ماجرا جذاب به نظر بیاد، باید مواظب این جور دام‌هاش باشیم!
در کل، ترکیب کردن هنر با چندتا حس با هم (یعنی crossmodal augmentation)، می‌تونه حسابی تجربه مخاطب رو قوی‌تر کنه، اما باید بدونیم همیشه باید دنبال هماهنگی خوب بین حس‌ها بود وگرنه ممکنه از هدفمون دور بشیم یا حتی اثر هنری بدتر به نظر بیاد!
خلاصه اگر یه روز دیدی توی یه گالری هنری همزمان با دیدن آثار هنرمندا یه موزیک خفن پخش میشه یا یه افکت صوتی خاص میاد، بدون اینم بخشی از همون حرکات crossmodal برای جذاب کردن هنر بوده که می‌خواد هم حس شنواییت رو قلقلک بده و هم چشمت رو لذت ببرونه.
منبع: +
