Nvidia открыла модель Nemotron 3.5 Transcribe для распознавания речи на русском

Компания Nvidia представила ИИ-модель Nemotron 3.5 Transcribe с открытыми весами. Она предназначена для распознавания речи, перевода и анализа аудиозаписей, поддерживает русский язык и обрабатывает записи длительностью до одного часа. Вместе с моделью опубликованы набор данных для обучения и инструменты, с помощью которых её можно адаптировать под специализированные задачи.

По описанию Nvidia, модель распознаёт речь на 40 языках и переводит с 31 языка на английский и обратно. Определять говорящих она умеет на 13 языках. В одной записи модель способна разобрать голоса до восьми человек, в том числе когда собеседники перебивают друг друга.

Управляется модель текстовыми инструкциями. Пользователь может попросить расшифровку с разметкой по говорящим, перевод на другой язык, краткое изложение решений, принятых в разговоре, или ответы на вопросы по содержанию записи. Для точности в модель можно заранее передать подсказки с техническими терминами и названиями.

Открытые веса позволяют запускать модель на собственной инфраструктуре и дорабатывать её. В сочетании с готовым набором данных это снижает порог входа для тех, кто хочет строить сервисы расшифровки и анализа звонков и совещаний.

По материалам: 3DNews