Одноклассники: ML-модель сократила токсичные комментарии на 47%

По исследованию ОК, негативные посты вызывают злость у более чем 40% опрошенных пользователей соцсети. Треть всех жалоб на платформе связана с комментариями, которые пользователи считают негативными, а 80% обращений в службу поддержки по поводу комментариев направлены против токсичности. Директор по продукту ОК Александр Москвичев описывает задачу как потребность аудитории в пространстве для безопасного и уважительного общения. Ограничение токсичных комментаторов вместе с другими продуктовыми решениями последних двух лет, по его словам, должно помочь вернуть на платформу редко посещающих ОК пользователей и привлечь новых.

Одноклассники внедрили модель машинного обучения, которая автоматически выявляет токсичные комментарии и ограничивает их авторов в написании новых комментариев на срок от одного часа до 24 часов. Длительность ограничения зависит от того, как часто пользователь оставляет негативные высказывания в адрес других. Модель обучена на 400 тыс. высказываний, которые можно описать как недружелюбные или провоцирующие негативную дискуссию. Чтобы определить, какие комментарии аудитория считает токсичными и нежелательными, соцсеть провела исследование среди своих пользователей.

Команда ОК обучала модель больше года и намерена совершенствовать её дальше; о запуске сообщено в ноябре 2024 года. По данным компании, модель сократила долю и количество негативных высказываний под постами, фотографиями и видео на 47%, а время обработки жалоб на токсичные посты — в три раза. Решение входит в набор инструментов ML-модерации ОК: ранее в 2024 году соцсеть начала автоматически скрывать нецензурные слова и размывать изображения эротического характера, блокирует контент 18+ и удаляет фотографии со сценами насилия, а годом раньше запустила ML-модель, ограничивающую навязчивые знакомства.