Roblox: ML-модерация голоса снизила жалобы на тяжёлые нарушения на 15,3%

Голосовой чат — один из ключевых каналов общения на платформе Roblox, и компания поставила задачу масштабировать его, сохраняя безопасность сообщества. Объём голосовой активности составляет миллионы минут в день, а размеченных данных для обучения моделей почти не было: для обучения с учителем требовались тысячи часов размеченного аудио на каждый поддерживаемый язык, сбор которых занял бы годы. Полная расшифровка всех голосовых разговоров распознаванием речи в масштабах Roblox была бы слишком медленной и ресурсоёмкой. Нужна была компактная модель, выявляющая нарушения правил сообщества почти в реальном времени.

Real-time Safety — сквозная ML-модель, которая работает напрямую с аудио и выявляет нарушения правил в голосовом общении: ненормативную лексику, травлю, дискриминацию, флирт и категорию «прочее». Результаты передаются второй модели, которая определяет последствия и отправляет нарушителям уведомления — сначала предупреждения, затем более жёсткие меры. В основе — архитектура на трансформерах; итоговый кандидат обучен методом дистилляции, где учителем выступает энкодер Whisper, а учеником — компактная архитектура WavLM. Модель анализирует окно в 15 секунд; квантизация слоёв, признаки MFCC и модель детекции речи (VAD) ускорили инференс.

Обучающие данные компания получила с помощью автоматического конвейера разметки: аудио делилось на фрагменты, расшифровывалось открытыми ASR-моделями и классифицировалось собственным текстовым фильтром на основе DistilBERT. Кластер из тысяч процессорных ядер разметил десятки тысяч часов аудио за несколько недель. Для оценки использовались данные, размеченные модераторами. На англоязычном наборе PR-AUC превысил 0,95. Модель развёрнута на собственной CPU-инфраструктуре Roblox и в пиковые часы обрабатывает более 2000 запросов в секунду. После первоначального запуска уведомлений жалобы на тяжёлые нарушения снизились на 15,3%, нарушения на минуту речи — на 11,4%. Одна из моделей опубликована в открытом доступе; компания расширяет обучение на несколько языков.