Три группы ученных смогли преобразовать электрические сигналы мозга в речь компьютера-синтезатора. Для этого пациентам в мозг вживили электроды и заставили говорить во время операции.

Об этом сообщает журнал Science.

Теперь вместо потерявших способность воспроизводить речь из-за паралича будет говорить компьютер. Он использует так называемые нейронные сети, которые способны воспроизводить слова и более-менее понятные предложения.

Встроить электроды в мозг удается в редких случаях. В одном, например, врачи измеряли активность в уже открытом мозгу, чтобы не повредить речевой центр. Во втором случае определяли пораженную эпилепсией область перед операцией. Именно с такими пациентами проводили исследования – людей заставляли читать и говорить просто во время операции. На это было отведено 20 – 30 минут, говорят ученые. Полученную информацию потом длительное время исследовали нейронные сети, пропуская ее через вычислительные узлы.

Научить компьютер расшифровке речевых процессов в мозгу – непростая задача, потому что у разных людей они происходят по-разному, говорит Нима Месгарани из университета Колумбии. Ее группа работала с людьми, страдающими на эпилепсию. Они изучали возможности слуховой коры, которая активируется во время говорения и слушания. Ученые наблюдали за активностью мозга, когда пациенты слушали истории и когда называли цифры от 0 до 9. Потом компьютер “повторял” цифры, основываясь только на информации об активности мозга. 75% услышавших правильно распознали звучание цифр.

ca 0104NID Brain Surgery Epilepsy online

Электрический имплантант на мозгу у пациента со вскрытой черепной коробкой. Такой использовали для измерения активности мозга во время говорения и слушания. Фото: Science. 

Мигель Ангрик из Бременского университета (Германия) и Кристиан Херфф из Маастрихского университета в Нидерландах опирались на результаты шести людей, переживших удаление опухоли мозга. Пациенты читали односложные слова вслух и их речь записывали. Тем временем, электроды измеряли активность центров мозга, которые планировали речь, и двигательных участков мозга, которые отправляли сигналы речевому аппарату. Ранее такие данные ученые не использовали. Компьютер сопоставил аудиозапись голоса с активными участками мозга и воспроизвел слова. Около 40% из них были разборчивыми, согласно подсчетам компьютеризированной системы.

Группа нейрохирурга Едварда Чена из Калифорнийского университета в Сан-Франциско также работала, основываясь на мозговой активности речевых и моторных центров. В эксперименте участвовали трое больных эпилепсией. Компьютеру удалось воспроизвести целые предложения. Точность проверяли следующим образом: 166 людям предлагали прослушать предложение и выбрать его из 10 разных вариантов. Некоторые предложения были узнаны в 80% случаев. Но ученые научили компьютер также воспроизводить предложения, когда пациент читал их молча. Чен назвал это шагом к протезированию речи, которую мы держим в голове.

Однако, наиболее интересными будут результаты у пациентов, которые не могут говорить. Сигналы в их мозгу, когда они молча “говорят” или “слышат” свой голос в своей голове, отличаются от сигналов во время проговаривания слов вслух или обычного слушания, отмечает Стэфани Риес, невролог из Университета штата Калифорния в Сан-Диего. Без внешнего сигнала компьютеру будет трудно определить даже то, где “внутренняя речь” начинается, а где заканчивается.

Херфф предлагает использовать интерфейс, с помощью которого пациент сможет вносить изменения в то, как компьютер интерпретирует его мысли. После длительных тренировок пользователя и нейронной сети, мозг и компьютер смогут найти общий язык.

Сейчас потерявшие способность говорить парализованные люди используют другие компьютерные техники. Например, движением глаз перемещают курсор на буквы на экране. Культовый ученый Стивен Хокинг напрягал щеку, чтобы активировать переключатель, установленный на его очках.

Американская компания IBM разработала небольшой датчик, который может отслеживать развитие болезней (в частности, таких как болезнь Паркинсона), а также контролировать эффективность лекарств.
Разработчики из Массачусетского технологического института создали систему RePaint, способную воспроизводить картины при помощи 3D-печати. Это стало возможным благодаря модели глубокого машинного обучения.