ИИ смог перевести мозговые сигналы в предложения почти без ошибок.
Искусственный интеллект (ИИ) смог перевести мозговые сигналы в предложения почти без ошибок. Эта система в будущем поможет восстановить речь пациентам, которые потеряли способность говорить из-за болезни.
Джозеф Макин из Калифорнийского университета и его коллеги использовали алгоритмы глубокого обучения для изучения мозговых сигналов четырех пациенток. Все они страдали эпилепсией, поэтому к ним уже прикрепили мозговые электроды, которые передавали данные о судорогах.
Каждую женщину попросили прочитать вслух набор предложений, в то же время команда фиксировала активность их мозга. Самая большая группа предложений содержала 250 уникальных слов. Команда подавала эту мозговую активность в алгоритм нейронной сети, обучая ее выявлять регулярно возникающие закономерности, которые могут быть связаны с повторяющимися аспектами речи — например, сочетанием гласных и согласных букв. Затем эти паттерны подавались во вторую нейронную сеть, которая пыталась превратить их в слова, чтобы сформировать предложения.
Каждый раз, когда человек говорит одно и то же предложение, мозговая деятельность будет схожа, но не идентична, объяснили исследователи.
"Запоминание мозговой активности человека во время чтения предложений не поможет, поэтому алгоритм вместо этого должен понять, что схожего в паттернах и обобщить эти данные", — отмечает Макин.
Во время тестов наилучшие результаты ИИ содержали в себе лишь 3% ошибок. Исследователи уверены, что алгоритму помогло то, что пациентки зачитывали простые предложения с небольшим количеством уникальных слов. Но в некоторых случаях ИИ смог разобрать и отличить схожие по звучанию слова только по мозговой активности (например, cлова Tina и Turner).
Команда попробовала декодировать данные мозговых сигналов сразу в отдельные предложения. Но коэффициент ошибок сразу вырос до 38%. Исследователи отмечают, что пока ИИ не может быстро справиться с этой задачей.
"Обычно люди знают и используют до 350 тыс. слов, но алгоритм не может их все расшифровать. Развивать его возможности будет невероятно трудно", — отмечают ученые.
Оригинал взят у
drumsmen в ИИ обучают "переводить" мозговые импульсы в предложения: первые результаты впечатляют
Journal information