Meta: ИИ в модерации — автоматизация 98% в Instagram и 94% в Facebook

Соцсети Meta — Facebook и Instagram — обязаны быстро убирать незаконный и токсичный контент: диффамацию, призывы к ненависти и насилию, оскорбления, дискриминацию, апологию терроризма, детскую порнографию, а также материалы, нарушающие правила сообщества. Объём публикаций растёт взрывообразно, и модерация силами только людей, которые разбирают жалобы пользователей, перестала справляться. Платформам потребовалось автоматизировать обработку контента, который можно оценить без человека, и снизить нагрузку на модераторов, оставив им сложные и срочные случаи.

Facebook быстро начал применять алгоритмы распознавания изображений и обработки естественного языка, чтобы находить и удалять сцены насилия, язык вражды и наготу. В отрасли такие системы развивались от списков стоп-слов к семантическим графам и затем к моделям машинного и глубокого обучения. Модели постоянно дообучаются на разметке, которую делают люди или сама система, а модераторы подключаются в спорных случаях и для анализа контента высокого риска.

Французское издание J’ai un pote dans la com в публикации 16 октября 2024 года со ссылкой на последний отчёт Meta о прозрачности приводит уровень автоматизации модерации: 98% в Instagram и 94% в Facebook. Издание называет этот уровень очень высоким и приводит Meta как пример того, что ИИ служит мощным инструментом помощи в модерации. Facebook, по данным публикации, также сотрудничает с независимыми организациями по проверке фактов, в том числе PolitiFact и FactCheck.org, для борьбы с дезинформацией.