Первое билингвальное устройство для чтения импульсов мозга декодирует два языка

Исследователи успешно использовали мозговой имплантат в сочетании с искусственным интеллектом для декодирования и передачи мыслей билингвального человека, который при этом не может говорить.

Как пишет ZME Science, система в режиме реального времени декодирует то, что пациент пытается сказать на испанском или английском языке, просто считывая его мозговую активность. Это выдающееся достижение представляет собой значительный скачок вперед в технологии нейроинтерфейса мозг-компьютер (BCI).

Исследования проводились на пациенте по имени Панчо, который в раннем возрасте перенес инсульт, в результате чего его парализовало, и он не смог формировать четкую речь, произносить даже самые простые слова практически. В сотрудничестве с командой Калифорнийского университета в Сан-Франциско под руководством доктора Эдварда Чанга Панчо перенес операцию на мозге, в ходе которой ему были имплантированы электроды, регистрирующие его нейронную активность.

Если ранняя версия этой технологии позволяла Панчо общаться на английском языке, то новая версия включает в себя систему искусственного интеллекта, специально разработанную для расшифровки его мыслей как на испанском (его родном языке), так и на английском, который он выучил гораздо позже.

Система искусственного интеллекта работает, анализируя нейронные паттерны, возникающие при попытках Панчо говорить. Самой сложной оказалась часть обучения. Хотя Панчо не мог говорить, его умственные усилия, когда он концентрировался на произнесении слова, формировали отчетливый нейронный паттерн, который считывался электродами, вживленными в его мозг, а затем интерпретировался ИИ.

Система искусственного интеллекта, состоящая из отдельных модулей для испанского и английского языков, назначает вероятности потенциальных слов, основываясь на нейронной активности и их логической последовательности в предложении. В ходе одного из экспериментов модули смогли различать английский и испанский языки с точностью 88 %. Правильное предложение было декодировано с точностью 75%. По словам исследователей, теперь Панчо может использовать эту систему для составления фраз (хотя и медленно) и ведения разговоров.