Известно, что визуальная информация о речи, такая как движение губы, затрагивает восприятие информации о голосе от ушей, говоря с кем-то лицом к лицу. Например, движение губы может помочь человеку услышать лучше при шумных условиях. Наоборот, названное содержание фильма, где конфликты движения губы с голосом спикера, дает слушателю иллюзию слушания другого звука. Эту иллюзию называют «эффектом Макгерка».
Согласно анализу предыдущих поведенческих исследований, японские спикеры по рождению не под влиянием визуальных движений губы так же как носители английского языка. Чтобы исследовать это явление далее, исследователи из Университета Кумамото имели размеры и проанализированные образцы пристального взгляда, мозговые волны, и время реакции для речевой идентификации между двумя группами из 20 японских спикеров по рождению и 20 носителей английского языка.
Различие было ясно. Когда естественная речь соединена с движением губы, носители английского языка сосредотачивают свой пристальный взгляд на губах спикера перед появлением любого звука.
Пристальный взгляд японских спикеров по рождению, однако, как не зафиксирован. Кроме того, носители английского языка смогли понять речь быстрее, объединив аудио и визуальные сигналы, тогда как японские спикеры по рождению показали отложенную речь, понимающую, когда движение губы было в поле зрения.«Носители английского языка пытаются сузить кандидатов на поступающие звуки при помощи информации от губ, которые начинают перемещать несколько сотен миллисекунд, прежде чем вокализации начнутся.
Японские спикеры по рождению, с другой стороны, делают свой акцент только на слушании, и визуальная информация, кажется, требует дополнительной обработки», объяснил профессор Университета Кумамото Кэору Секияма, кто ведет исследование.Университетские исследователи Кумамото тогда объединились с исследователями из Саппоро Медицинский Университет и Advanced Telecommunications Research Institute International Японии (ATR), чтобы измерить и проанализировать мозговые образцы активации, используя функциональную магнитно-резонансную томографию (fMRI). Их цель состояла в том, чтобы объяснить различия в мозговой деятельности между этими двумя языками.
Функциональная возможность соединения в мозгу между областью, которая имеет дело со слушанием и областью, которая имеет дело с визуальной информацией о движении, основные слуховые и средние временные области соответственно, была более сильной в носителях английского языка, чем в японских спикерах по рождению. Этот результат убедительно предполагает, что слуховая и визуальная информация связана друг с другом на ранней стадии обработки информации в мозгу англоговорящего, тогда как ассоциация сделана на более позднем этапе в мозгу японского спикера.
Функциональная возможность соединения между слуховой и визуальной информацией и способом, которым два типа информации обработаны вместе, как показывали, явно отличалась между двумя различными говорящими на языке.«Было сказано, что видео материалы приводят к лучшим результатам, изучая иностранный язык. Однако было также сообщено, что видео материалы не имеют очень положительное влияние для японских спикеров по рождению», сказал профессор Секияма. «Может случиться так, что есть уникальные пути, которыми японцы обрабатывают аудио информацию, которые связаны с тем, что мы показали в нашем недавнем исследовании, которые находятся позади этого явления».
Эти результаты были изданы в журнале Scientific Reports.