見るものが聞くものに影響を与える理由

Head Tripでは、PopSci が私たちの脳と感覚、そしてその間で起こる奇妙な出来事との関係を探ります。

多くの錯覚は、感覚入力の不一致によって生じるもので、ある感覚が別の感覚と矛盾するときに生じます。(ただの騒々しいファンのように見えますが、話しているように聞こえます。) こうした錯覚の中で最も驚くべき、そして自分で試すのが最も簡単なものの 1 つが、マガーク効果です。これは、1976 年にスコットランドの心理学者ハリー・マガークと助手のジョン・マクドナルドによって初めて説明された視聴覚錯覚です。

YouTube で検索すると、マガーク効果の動画がたくさん見つかります。人が 1 つの音節 (通常はba ) を何度も繰り返して話すときの顔を観察します。しばらくすると、その人は別の音節 (通常はfa ) を口で発音し始めます。多くのリスナーは、それに合わせて付随するオーディオが変化するのを「聞く」でしょう。しかし、実際にはそのようなことはなく、再生される音は最初から最後まで同じままです。「Ba! Ba! Ba!」

では、一体何が起こっているのでしょうか? ペンシルバニア大学の脳神経外科教授であるマイケル・ボーチャム氏は、キャリアの大半をマガーク効果の研究に費やしてきました。「毎日、一日中、それについて考えています」と同氏は笑います。2012年にNeuroImage誌に発表された論文で、ボーチャム氏と同僚のオードリー・ナス氏は、この効果と脳の左側頭溝 (STS) と呼ばれる領域における神経活動との関連を調べました。

この STS は、視覚皮質と聴覚処理領域の間に物理的な橋渡しをします (ボーシャン氏は自身の脳の 3D プリントアウトでこの事実を実証しています)。この脳領域の多くの重要な機能の 1 つは、多感覚の視聴覚入力を処理することです。「[STS] は聴覚情報と視覚情報を組み合わせます」とボーシャン氏は説明します。「それが、マクガークにとって重要であると私たちが考える理由です。」

2012 年の研究では、機能的 MRI データを調べて、マガーク効果を経験した人の左 STS 活動を調べ、それを経験しなかった人の左 STS 活動と比較しました。確かに、最初のグループでは活動レベルが上昇していました。しかし、ボーシャン氏は、脳の本質的な複雑さを考えると、この結果は「STS がマガーク効果を引き起こす」ほど決定的なものではないと注意を促しています。「サンプル サイズがもっと大きくなければ、（決定的な）結論を出すのは不安です」とボーシャン氏は言います。

それでも、この研究は、その後の多くの研究の焦点となっている重要な事実を示唆した。「マガーク効果を常に感じる人もいれば、まったく感じない人もいます」とボーシャン氏は言う。「しかし、その中間のスペクトルも存在します。私たちはこのことに非常に確信を持っています。何百人もの人にそれを見てきました。」

このスペクトルの存在は、その効果、つまり多感覚処理における視覚と聴覚の相互作用が、多くの科学者がかつて考えていたよりも複雑で微妙であることを示唆している。（これにはマクガーク自身も含まれており、彼は98％の人が常に完全な効果を体験するが、残りの2％はまったく体験しないと主張している。）

また、この研究は「錯覚」という概念全体を再検討する価値があることも示唆している。錯覚を経験することは感覚の不全、つまり騙されたことであり、その過程で外界を理解する脳の能力の限界にぶつかっていると私たちは考えがちだ。しかし、ボーチャムの研究では、実態はもっと微妙かもしれないと示唆している。「マガーク知覚者は、聴覚と視覚の音声情報を統合するための基準がより寛容であると推測しています。聴覚と視覚の情報が一致していなくても、マガーク知覚者はそれを統合します。これは、マガーク刺激に惑わされるという代償を払って、聴覚や視覚のノイズが多い状況では有利になるかもしれません。」

つまり、少なくともいくつかのケースでは、錯覚に対する感受性は不適応的というよりは適応的である可能性があるということです。なぜなら、錯覚は、脳が不一致または矛盾する感覚情報を理解しようと最善を尽くすことによって最終的に誘発されるからです。これはまた、私たちの神経中枢がその情報の質の変化にどのように適応するかという疑問を提起します。(私は片方の耳の蝸牛に損傷があり、子供の頃のバスケットボールの試合で肘をぶつけた後遺症で、後天的に難聴になった人間として、この考えには個人的に共感を覚えます。) では、STS と脳の残りの部分が、感覚の 1 つが長期的に信頼性を失っても、どのように適応するか、あるいは適応するかどうかはわかっていますか?

「これは非常に興味深い、そして未解決の問題です。脳が可塑性を持つことはわかっています」と彼は言い、この可塑性を利用する方法を見つけることがチームの研究目標の 1 つであると付け加えました。「たとえば、多くの人の聴力は視力よりもずっと早く低下します。そのため、視覚情報にもっと敏感になれるよう手助けできれば、聴力低下を補うのに役立つかもしれません。」

この点における脳の可塑性の大きさは、ボーシャン教授の研究で明らかになったもう一つの注目すべき詳細によって強調されている。マガーク効果は永続的になり得るのだ。「マガーク効果の同じクリップを長時間見ていると、画面を見ていないときでもその錯覚に陥る。基本的に、脳の配線がやり直され、顔を見る必要さえなくなる。なぜなら、脳が『よし、聴覚部分は間違っているから、視覚部分が言っていることに従おう』と確信しているからだ」と教授は説明する。

もう一度、自分で試してみることができます。「YouTube にアクセスしてください」と Beauchamp 氏は言います。「数日間、毎日 1 分間 [これらの] ビデオを視聴し、その後、見ずにもう一度聞いてください。私の予測では、それでもマガーク効果が得られるはずです。」

PopSci+のストーリーをもっと読む。