Roblox: Sentinel обеспечил почти 70% выявленных случаев угрозы детям

Roblox — игровая платформа с текстовым и голосовым чатом, на которой общаются в том числе дети. Компания ставит задачу выявлять ранние сигналы потенциальной угрозы детям задолго до того, как сообщения станут достаточно явными для других систем модерации. Такие сигналы тонкие: опасный разговор может долго выглядеть безобидным. Раннее обнаружение позволяет быстрее принимать меры по аккаунтам злоумышленников и сообщать о проблемных пользователях в уполномоченные органы. Sentinel входит в набор моделей безопасности Roblox наряду с классификатором личных данных в чате и классификатором голосового чата.

Roblox Sentinel — собственная система компании на контрастном обучении. Модель обучена на образцах как безопасных, так и в итоге вредоносных разговоров. Новые разговоры она сравнивает с этими образцами и помечает едва заметные тревожные признаки для проверки до того, как ситуация обострится. Система не принимает решений сама: она помогает специалистам по проверке расставлять приоритеты и в первую очередь смотреть чаты, которые с наибольшей вероятностью требуют внимания. По итогам проверки специалисты принимают меры по аккаунтам нарушителей и передают сведения о них в уполномоченные органы.

Версии Sentinel работают на платформе Roblox и помечают ранние признаки угрозы детям. По данным компании, за 12 месяцев до 7 августа 2026 года почти 70% выявленных случаев пришлись на раннее обнаружение Sentinel, часто значительно раньше других методов. В августе 2026 года Roblox передала в сообщество ROOST (Robust Open Online Safety Tools), где состоит с 2025 года как один из основателей, открытую версию 2 системы. В ней число функций объединения оценок выросло с двух до шести; в одном примере перебор 324 конфигураций занял менее трёх минут вместо почти часа, а ROC-AUC вырос с 0,894 при настройках по умолчанию до 0,996 при лучшей конфигурации.