Мозговой имплантат впервые одновременно воспроизвёл речь и жесты парализованных людей
Американские исследователи разработали технологию, которая позволяет людям с тяжёлым параличом одновременно общаться с помощью речи и жестов. Устройство, описанное в журнале Nature Neuroscience, впервые переводит вербальные и невербальные сигналы мозга в реальном времени, управляя текстом на экране и движениями анимированного аватара.
Система использует высокоплотную электрокортикографическую сетку из 253 электродов, размещённую на поверхности сенсомоторной коры головного мозга. Это позволяет улавливать сигналы, связанные как с попытками говорить, так и с движениями верхней части тела. В испытаниях участвовали люди с параличом: один перенёс инсульт ствола мозга, другой страдал боковым амиотрофическим склерозом. Их просили произносить фразы и представлять жесты, например, помахать рукой или кивнуть.
Искусственный интеллект обучали на данных, собранных во время трёх типов задач: только речь, только жесты и их комбинация. Такой подход дал более высокую точность, чем обучение на отдельных задачах. Затем систему связали с персонализированным виртуальным аватаром. В тестах на распознавание речи точность для первого участника достигала 100% в трёх из пяти испытаний, для второго — 75% для речи и 85% для жестов. Разработанные алгоритмы также умеют фиксировать периоды бездействия, когда пользователь не пытается говорить или двигать руками.
«Это вселяет надежду на то, что нейронные протезы войдут в повседневное использование», — говорит Кристиан Херфф из Маастрихтского университета. Однако учёные подчёркивают, что система пока экспериментальная. В планах — расширить словарный запас и научить аватар управлять отдельными частями тела, например, суставами руки. Исследование является частью продолжающегося испытания BRAVO в Калифорнийском университете в Сан-Франциско.
