Nézd meg, mit mondok!

• 10.11.2014
• Varga Zsófia

A Utah Egyetem biomérnökei felfedezték, hogy a nyelvek megértésben nagyobb szerepe van a látásnak, mint azt korábban gondolták: megfelelő feltételekkel a látottak felülbírálják a hallottakat. A kutatási eredmények azt sugallják, hogy a hallókészülékek és a beszédfelismerő szoftverek eredményesebben működhetnek kamerával kiegészítve.

"Első alkalommal az agyba érkező akusztikus jelhez tudtuk kapcsolni, hogy az ember által hallottak nem feltétlenül egyenlőek a valójában felfogott hangokkal. A látás egyértelműen befolyásolja a hallást, agyunk módosítja a felfogott valóságot. Ennek illúzióját nem vagyunk képesek szabályozni." - mondja a tanulmány első számú szerzője, Elliot Smith, biomérnök és a Utah Egyetem végzős neurológia hallgatója. "Az emberek úgy gondolják, hogy a körülöttünk lévő fizikai jelenségek és a szubjektív tapasztalat között szoros kapcsolat van, de ez nem teljesen igaz."

Beszéd hallása során az agy dolgozza fel a látványt és a hangot. Azonban, ha a kettő kissé eltér egymástól, a vizuális dominál. Ez a jelenség a McGurk hatás, melyet a skót kognitív pszichológusról, Harry McGurk-ról neveztek el, aki úttörő a hallás és látás kapcsolatát boncolgató tanulmányok területén. Évtizedek óta foglalkoznak a jelenséggel, azonban eredete még mindig megfoghatatlan.

Az új tanulmányban a Utah Egyetem csapata a McGurk hatás elemzésével foglalkozott és az agyi jeleket vizsgálták a temporális kéreg területén, vagyis az agyműködést vették alapul.

A munkában részt vett a Utah Egyetem biomérnöke, Bradley Greger és az agysebész, Paul House, segítségükkel Smith rögzítette az agy elektromos jeleit négy súlyosan epilepsziás személynél (két férfi és két nő Utah-ból és Idaho-ból). House elhelyezett három gomb méretű elektródát helyezett az alanyok bal, jobb vagy mindkét agyféltekéjéhez attól függően, hogy a betegek rohamai mely területről származtak. A kísérletben részt vett önkéntesek súlyos epilepsziával küzdenek, melyet műtéti úton is kezeltek.

A négy alanyt arra kérték, hogy nézzenek meg videókat a benne beszélő ember szájára koncentrálva, különösen a "ba", "va", "ga", "tha" szótagokra figyelve. Attól függően, hogy a három videó közül melyiket nézték, három lehetséges tapasztalatuk születhetett a szótagok formálását nézve:

• A száj mozgása illeszkedett a hangra. Például a videóban is "ba" ejtését láthatták, és ugyanezt hallották közben.
• A szájmozgás egyértelműen eltér a hangtól, mint egy rosszul szinkronizált filmnél. Például a videó "ga"-t mutat, míg "tha" hallható. Például a videón "ga" látszott, hangban pedig "tha". A betegek itt a "tha"-t hallották helyesen.
• A száj mozgása és a hang között kis eltérés tapasztalható. Például a videó "ba"-t mutatott, melynél "va" hallatszott. A betegek itt "ba"-t mondtak, pedig a hang közben tényleg "va" volt. Ez bizonyítja a McGurk hatást.

A videók nézése közben Smith és Greger az agy elektromos jeleit figyelte, így pontosan tudták, hogy épp a hallási vagy a látási jeleket értelmezik-e a szótagok azonosítására. Amikor a szótagnál párosítani próbálták a hangot és a képet vagy egyáltalán nem illett össze a kettő, az agyi aktivitás nőtt a hang figyelése közben. Amikor a hallott hang nem egyezett teljesen a látottakkal, az emberek inkább támaszkodtak arra, amit láttak. A statisztikák megerősítették a hatást minden vizsgált alanynál.

"A hangot irányító idegi jeleket felülírja az agyban a vizuális élmény"- mondja Greger. "Az agy lényegében figyelmen kívül hagyja a fizikai hangot és követi a látottakat."

Greger a Utah Egyetem biomérnöki professzorasszisztensként vezető szerzője a tanulmánynak. Nemrég került az Arizona Állami Egyetemre.

Az új eredmények segíthetnek a kutatóknak megérteni, mi vezérelheti a nyelv feldolgozását, különösen, amikor egy csecsemő agya próbálja feldolgozni a hangokat és azt összekapcsolni az ajkak mozgásával. Ezek az eredmények segíthetnek megállapítani, hogy a nyelvi feldolgozást hogyan befolyásolja a vizuális és auditív ingerek eltérése, ezáltal a diszlexia kutatásában is előreléphetnek Greger szerint.

Forrás: newswise