Компания Meta представила ИИ-модель SeamlessM4T, которая принимает входные данные в виде текста и аудио, распознаёт речь и способна переводить её на 100 языков.
Однако аудиоперевод пока доступен только на 35 языках.
Кроме того, модель работает с входными данными, в которых используется сразу несколько языков.
Проект с исходным открытым кодом доступен на GitHub. Также Meta выпустила набор данных SeamlessAlign, который включает 270 тысяч часов звучащей речи и её текстовый перевод. Компания сравнивает свою модель с вавилонской рыбкой из книг Дугласа Адамса «Автостопом по галактике».
Исследователи предупреждают, что экспериментальная демонстрация может дать неточный перевод или изменить значение произнесённых слов, и просят сообщать о выявленных ошибках в её работе.
Модель основана на предыдущих проектах Meta, в том числе системе прямого перевода между языками, ИИ-переводчике для диалекта хоккеин без письменного варианта и других.
