ادغام صدا و تصویر: حتی وقتی ذهنت پره هم گوش و چشم با هماهنگی کار می‌کنن!

خب بچه‌ها، اگه تا حالا شده باشه صدایی رو بشنوین و همزمان تصویری ببینید که با هم جور در میان (مثلاً صدای موبایل از همون جایی که تو تصویر هست بیاد)، احتمال زیاد مغزتون سریع‌تر و بهتر واکنش نشون می‌ده. حالا یه سوال جالب: اگه ذهنتون مشغول کار دیگه‌ای هم باشه – مثلاً باید یه سری اطلاعات رو تو حافظه کوتاه مدت‌تون نگه دارین – بازم این هماهنگی بین صدا و تصویر اونقدر قوی هست یا نه؟

یه سری محقق باحوصله اومدن و یه آزمایش طراحی کردن تا دقیق بفهمن این ماجرا رو. تو این تحقیق بهش می‌گن “پژوهش روی ادغام شنیداری-دیداری و اثر هم‌مکانی فضایی” (Audiovisual Integration و Spatial Congruency Effect یعنی وقتی یک صدا و تصویر از یک نقطه با هم میان، مغز با سرعت بیشتری تشخیص میده که رویداد از کجاست).

شرکت‌کننده‌ها باید تو یه بازی تشخیص موقعیت شرکت می‌کردن. دو تا چیز بهشون نشون می‌دادن: صدا و تصویر. گاهی این دوتا از یک نقطه می‌ومدن (یعنی هم‌مکان بودن)، گاهی هم جدا از هم. وظیفه آدم‌ها این بود که سریعا بگن این رویداد از کجاست. اما یه نکته‌ی پیچیده‌تر هم بود! قبلش بهشون بار حافظه‌ای می‌دادن. بار حافظه کاری (Working Memory Load) یعنی مثلا باید به یه سری عدد یا تصویر قبلی که دیده بودن دقت کنن و یادشون بمونه. این بارها سه حالت داشت: صفر (۰-back یعنی بدون بار)، یک (۱-back)، و دو (۲-back) که هرچی عدد بالاتر می‌رفت باید اطلاعات بیشتری رو یادشون می‌موند.

نتیجه رو اگه بخواین بدون توضیح آمار طولانی بدونین: مهم نبود ذهن آدم‌ها چقدر درگیر بود یا چقدر اطلاعات تو حافظه‌شون نگه داشته بودن؛ وقتی صدا و تصویر از یک نقطه می‌اومدن (فضاییشون یکی بود)، مغز همچنان بهتر، سریع‌تر و صحیح‌تر واکنش نشون می‌داد. یعنی اثر هم‌مکانی بین صدا و تصویر اصلاً به این که بار حافظه بالاتر یا پایین‌تره ربطی نداشت. اینو با بررسی آمار چیزهایی مثل “زمان واکنش” (Reaction Time یا RT)، “دقت” (Accuracy)، “حساسیت” (d’، یه استاندارد برای دقیق بودن تشخیص)، و افزایش کمک شنوایی (Auditory Enhancement) بررسی کردن. هیچ تفاوت معناداری تو هیچکدومش بین حالت‌های مختلف بار حافظه دیده نشد (p کمتر از ۰/۰۵، یعنی هیچ نتیجه‌ی خاصی نبود). حتی با روش آمار بیزی (Bayesian Analysis که یه جور شواهد احتمال‌محور قوی می‌ده) هم بررسی کردن و قشنگ نشون داد شانس وجود تفاوت عملاً صفره (عامل Bayes تقریباً ۰/۰۰۰۱ بود. BF یعنی Bayes Factor و نشونه‌ی محکمی برای نبودن اثره).

خب این یعنی چی؟! یعنی مغز ما وقتی صدا و تصویر دقیقاً با هم جور در میان، خیلی اتوماتیک و خیلی سطح پایین اون‌ها رو با هم قاطی می‌کنه و به بار کاری یا به اصطلاح بار حافظه‌ای کاری اهمیتی نمی‌ده. این کار جایی انجام می‌شه که هنوز ادراک کاملاً ساده است (Low-level Perceptual Stage یعنی همون مرحله‌های اولیه درک از محیط) و نیاز به حواس جمع یا حافظه فعال نداره.

البته، بچه‌ها، خود محقق‌ها هم گفتن بد نیست بقیه هم دوباره همین آزمایش رو تکرار کنن تا خیال همه راحت بشه که این نتیجه سوتفاهم یا شانسی نبوده.

پس دفعه بعدی که داری یه فیلم می‌بینی و صدایی رو از سمت تصویرش دقیق حس می‌کنی، بدون که مغزت، حتی اگه ده تا کار دیگه هم همزمان انجام بده، بازهم این ادغام صدا و تصویر رو بی هیچ مشکلی انجام می‌ده!

منبع: +