VK Видео: ML-модели генерируют субтитры, объём роликов с ними вырос в 10 раз

VK Видео — видеоплатформа VK, где размещаются как профессиональные ролики, так и пользовательский контент. Задача проекта — сделать просмотр удобнее за счёт автоматических субтитров: расшифровка речи должна оформляться в предложения со знаками препинания и заглавными буквами и учитывать разговорную и узкоспециализированную лексику, а также неологизмы. По описанию компании, субтитры полезны людям с нарушениями слуха и в ситуациях, когда включать звук в видео нежелательно.

Автоматические субтитры в VK Видео генерируют ML-модели, и аудиопоток из видео проходит через несколько этапов обработки. Сначала нейросеть убирает посторонние шумы, выделяет речь и преобразует её в слова. Затем другие модели превращают расшифровку в связный текст с пунктуацией и заглавными буквами. На финальном этапе отдельная модель синхронизирует получившийся текст с аудиодорожкой. По данным компании, её модель допускает на 30% меньше ошибок, чем аналогичные модели генерации субтитров в подобных сервисах. Технология применяется и к профессиональным роликам, и к пользовательскому контенту.

О результатах VK сообщила в пресс-релизе 24 февраля 2025 года. По данным компании, команда VK Видео в 10 раз увеличила объём видео с субтитрами и одновременно повысила точность обработки расшифровки речи. Компания ожидает, что в ленте пользователя на главном экране 8 из 10 видео будут с новыми субтитрами. Автоматические субтитры формируются как для профессиональных роликов, так и для пользовательского контента; речь оформляется в предложения с учётом разговорной и узкоспециализированной лексики.