Домой Технологии Программы и приложения Чтобы быть услышанным, даже не нужно говорить вслух

Чтобы быть услышанным, даже не нужно говорить вслух

443

Американские исследователи смогли создать прототип системы, который считывает беззвучную речь при помощи электродов на лице и шее, превращая ее в слышимую речь с помощью нейросети.

Это позволит создать Bluetooth-гарнитуру, через которую можно будет разговаривать по телефону, не издавая звуков. Также данная технология откроет возможность создать искусственный голосовой аппарат для людей с проблемами речи. Авторы представили разработку на конференции EMNLP 2020 и получили награду за лучшую статью.

При чтении «про себя» обычно мы не произносим слова вслух, но мозг всё равно заставляет мышцы голосового тракта двигаться, пусть и намного меньше, чем при «обычной» речи – этот процесс называется субвокализацией. Инженеры научились считывать эти мышечные сокращения различными методами — в основном при помощи электромиографии, которая регистрирует электрическую активность мышц при помощи электродов на шее и лице.

Однако существующие интерфейсы для распознавания субвокализации пока способны превращать беззвучную речь лишь в текст, поэтому американские учёные из Калифорнийского университета в Беркли решили разработать алгоритм, который мог бы «озвучивать» мышечные сокращения. Его обучили на трёх типах данных: записи слышимой речи и активности мышц как во время слышимой, так и неслышимой речи. В основе их метода лежит преобразование исходных сигналов.

В качестве метрики учёные использовали стандартную пословную вероятность ошибки — сумму изменённых, отсутствующих и лишних слов, поделённую на общую длину текста. Для простых фраз, наподобие дат и других чисел, вероятность ошибки полноценной нейросети составила 3,6, а для той, которую обучали только на слышимой речи, она составила 88,8. Для сложных фраз, вроде отрывков из книг, разница была не такой большой: 74,8 к 95,1 при проверке человеком и 68 к 91,2 при проверке системой распознавания речи Mozilla DeepSpeech.

Источник: Popmech