Wie Sprache aus Hirnströmen rekonstruiert werden kann

Sebastian
Durchbruch in der Hirnforschung: Forscher beobachten Gehirn beim Sprechen
Forschern des Karlsruher Instituts für Technologie (KIT) ist ein Durchbruch in der Hirnforschung gelungen. Sie konnten aus der Hirnaktivität der Probanden Laute ableiten, die derjenige gerade sagt. Dabei rekonstruierten die Forscher sogar Wörter und ganze Sätze. Das Verfahren, das die Karlsruher gemeinsam mit Forschern des amerikanischen Wadsworth Centers entwickelten, heißt „Brain-to-text“. Vor allem für Menschen, die am Locked-In-Syndrom leiden, könnte diese Entdeckung bahnbrechend sein. Ihre Ergebnisse veröffentlichten die Wissenschaftler im Fachmagazin „Frontiers in Neuroscience“.

Sprache wird durch Hirnströme sichtbar
„Schon lange wurde darüber spekuliert, ob die direkte Kommunikation zwischen Mensch und Maschine über Gehirnströme möglich ist“, wird die Informatik-Professorin Tanja Schultz, die die Studie am Cognitive Systems Lab des KIT geleitet hat, in einer Mitteilung des Instituts zitiert. „Wir konnten nun zeigen, dass aus Gehirnströmen einzelne Sprachlaute und kontinuierlich gesprochene komplette Sätze erkannt werden können.“

Bild: psdesign1-fotolia
Bild: psdesign1-fotolia

Im Rahmen ihrer Untersuchung legten die Forscher sieben Epilepsie-Patienten in den USA ein Elektrodennetz direkt auf die Großhirnrinde. Bei den Patienten war das Gehirn für die Epilepsietherapie ohnehin freigelegt. Mittels Elektroden, die von außen auf den Kopf angelegt werden und die Hirnaktivität messen, ist das Verfahren noch nicht durchführbar.

„Zum ersten Mal können wir das Gehirn beim Sprechen beobachten“, so Schultz gegenüber der Nachrichtenagentur „dpa“. Den Forschern gelang es erstmals, den Sprechvorgang im Gehirn bis hin zur Aktivierung der Muskeln der Artikulationsorgane mittels der Neuronen in der Großhirnrinde zu verfolgen. Die Aktivitäten wurden durch Farben erkennbar gemacht. „Je höher die Aktivität, umso heißer die Farbe“, erläutert Schultz weiter.

Hirnforscher legen Datenbank mit 50 verschiedenen Lauten an
Die Probanden mussten bestimmte Texte, wie etwa eine Rede des ehemaligen US-Präsidenten John F. Kennedy oder einfache Kinderreime, sprechen. Da den Forschern bekannt war, wann welcher Laut gesprochen wurde, konnten sie anhand der dabei gemessenen Hirnströme Datenbanken mit rund 50 Laut-Prototypen anlegen. Über Algorithmen konnten die Forscher später allein anhand der Hirnströme erkennen, was gesagt wurde. Die Laute wurden dabei in Verbindung mit Wörtern und ganzen Satzphrasen betrachtet. „Wir bekommen damit schöne Ergebnisse, die in der Qualität zwar noch weit von der akustischen Spracherkennung entfernt, aber schon deutlich besser sind, als wenn man rät“, berichtet Schultz.

Mehr zum Thema:

Für „Brain-to-text“ kamen Methoden aus der Signalverarbeitung und der automatischen Spracherkennung zum Einsatz. „Diese erlauben neben der Erkennung von Sprache aus Gehirnsignalen eine detaillierte Analyse der am Sprachprozess beteiligten Gehirnregionen und ihrer Interaktionen“, erläutern Christian Herff und Dominic Heger, die im Rahmen ihrer Promotion das System entwickelt haben, in der Mitteilung des KIT.

Bisher wurde das neue Verfahren jedoch lediglich bei sieben Patienten getestet, von denen im Rahmen der Untersuchungen nur höchstens fünf Minuten Sprache vorliegen. Zukünftig könnten insbesondere Menschen, die am sogenannten Locked-In-Syndrom leiden, von „Brain-tot-text“ profitieren. Die Betroffenen sind zwar bei Bewusstsein, können sich aber aufgrund einer Lähmung nicht verständlich machen. (ag)