NVIDIA представила Nemotron 3.5 Transcribe — модель с открытыми весами для распознавания и перевода речи, которая позволяет адаптировать формат расшифровки под конкретную задачу с помощью обычных текстовых инструкций. Она поддерживает 40 языков, переводит речь с 31 языка на английский и обратно, а также определяет говорящих на 13 языках. Модель может обрабатывать записи продолжительностью до одного часа.
Пользователь может запросить дословную стенограмму, преобразование произнесенных чисел в письменный формат, перевод, краткое изложение решений, принятых во время разговора, или задать вопросы по содержанию записи. Модель также умеет учитывать специальные термины, например, названия лекарств, и переключение между языками. Для этого не требуется дополнительное обучение — достаточно описать задачу в запросе.
Nemotron 3.5 Transcribe определяет говорящих даже в записях, где собеседники перебивают друг друга. Модель поддерживает аудио с участием до восьми человек. После создания стенограммы она может сопоставить текст с аудиозаписью и добавить временные метки к отдельным словам. Качество распознавания и определения говорящих зависит от языка и условий записи, поэтому имена и моменты смены собеседников рекомендуется проверять.
В рейтинге Open ASR Leaderboard на платформе Hugging Face модель заняла первое место среди систем с открытыми весами. Этот рейтинг сравнивает точность автоматического распознавания речи: чем ниже доля ошибок распознавания слов (WER), тем лучше результат.
По данным NVIDIA, средний WER составил 4,71% на девяти англоязычных тестовых наборах и 4,62% в многоязычном тестировании. На тесте ContextASR-Bench модель в шесть раз реже ошибалась при распознавании имен и других сущностей, если ей заранее предоставляли их список. В независимом бенчмарке Artificial Analysis ее показатель составил 2,81% — близко к 2,77% у Mistral Voxtral Small.
Например, при настройке на медицинские записи с участием индийских врачей и студентов-медиков доля ошибок снизилась с 30,8 до 11,8%.
Модель, набор данных Granary v2 и руководство по дообучению доступны на Hugging Face. NVIDIA также предоставляет демонстрационную версию. В комплект входят инструменты, которые помогают адаптировать распознавание к новым языкам и предметным областям.
Хайтек+
Больше интересных статей, новостей, обзоров здесь:
