Roblox: ИИ-фильтр личных данных в чате сократил ложные срабатывания на 30%

Roblox — платформа пользовательского контента, куда в среднем 97,8 млн человек в день приходят играть, общаться и создавать. Пользователи ежедневно отправляют в среднем 6,1 млрд сообщений в чате и проводят 1,1 млн часов в голосовом общении на 28 языках. Компания модерирует контент проактивно; по её оценке, такой объём в реальном времени потребовал бы сотен тысяч модераторов, работающих круглосуточно. Отдельная задача — не допускать обмена персональными данными в чате: по словам компании, просьба сообщить такие данные может быть первым шагом к более серьёзным нарушениям.

Около десяти лет назад Roblox построила текстовый фильтр на правилах, примерно пять лет назад развернула текстовый фильтр на трансформерной модели. Сейчас текстовые фильтры работают на множестве моделей, каждая из которых обучена на свой тип нарушений. Одна из них — фильтр персональных данных для игрового и платформенного чата: каждое сообщение проверяется на упоминание таких данных. В основе всей системы модерации — крупные трансформерные модели, которые компания дистиллирует и квантует для скорости. Сложные и редкие случаи, расследования и апелляции разбирают тысячи экспертов-людей.

Фильтру персональных данных стало не хватать прежнего стека на CPU, и компания построила новый стек на GPU: отделила токенизацию от инференса, применила квантование и дистилляцию моделей. Это увеличило пропускную способность в четыре раза; в пике фильтр обрабатывает 370 тыс. запросов в секунду. Ложные срабатывания сократились на 30%, а число автоматически выявленных упоминаний персональных данных выросло на 25% по всем поддерживаемым языкам. Модели текстовых фильтров в целом обрабатывают более 750 тыс. запросов в секунду. Компания распространяет улучшение на другие языки и текстовые фильтры (данные на июль 2025 года).