В эксперименте участвовали люди с эпилепсией.
Учёные давно смогли зарегистрировать связь между нервной деятельностью головного мозга и речью. Правда, распознавания сигналов и трансляция их в слова и выражения слишком сложны и страдают неточностью, если сравнивать их с обычной речью. Между тем перевод на лету нервных импульсов мозга в речь мог бы помочь людям с травмами конечностей и речевого аппарата, а это общение и возможность пользоваться электроникой и информацией, передает Хроника.инфо со ссылкой на 3dnews.
На днях на сайте журнала Nature Neuroscience появилась статья группы учёных из Калифорнийского университета в Сан-Франциско, в которой рассказывается, как с помощью рекурентной нейросети и вживлённых в мозг электродов можно научиться быстро переводить нервные сигналы в головном мозге человека в понятные слова и выражения.
Отметим, вживить 250 электродов в мозг ― дело нешуточное, но в данном случае никто ничего специально не вживлял. В эксперименте приняли участие четыре пациента с эпилепсией, и электроды им были вживлены для отслеживания приступов. Так получилось, что часть электродов оказались в зонах мозга, в которых происходит подбор слов, составление выражений и осуществляется обратная связь с участками мозга воспринимающими собственную речь человека.
Испытуемым было предложено мысленно, а затем вслух произнести от 30 до 50 предложений с ограниченным набором слов. Одновременно снимались сигналы с имплантированных в мозг датчиков. Полученные данные были переданы в нейронную сеть для обучения, а полученный промежуточный результат был отдан для анализа другой нейронной сети. Оказалось, что новый алгоритм распознавания сигналов мозга сводит вероятность ошибочного определения слов до 3 %.
Более того, когда один из испытуемых мысленно проговаривал выражения вне предложенного набора слов, то вероятность ошибочного определения слов уменьшалась на 30 %. Это означает, что систему можно тренировать для переноса на других пациентов, что снижает время тренировки для каждого по отдельности.
Читайте также: Минздрав представил единый протокол лечения больных коронавирусом
Секрет в успехе своего опыта учёные видят в том, что они подошли к проблеме трансляции мыслей в слова с точки зрения переводчика. Система анализирует контекст и тем самым снижает вероятность ошибки. Работа на уровне распознавания предложений, а не отдельных слов, даёт возможность устранить негативное влияние акцента, неправильно или невнятно произнесённых слов и других неопределённостей в речи, что до сих пор затрудняло трансляцию нервных сигналов в речь.