Авито Реклама: мультиагентный ИИ-конвейер размечает фидбэк, F1 83,87%

Кабинет Авито Рекламы запустили в июне 2025 года, и сначала команда читала все комментарии пользователей от начала до конца, чтобы расставлять приоритеты в бэклоге. Через год пользователей стало на порядки больше, а продуктовая команда разделила зоны ответственности, и разбирать поток вручную стало сложно. Требовалось находить дубли, выделять несколько смыслов внутри одного комментария, оценивать веса тем, распределять фидбэк между командами и готовить сводки. Разметка при этом должна была следовать правилам UX-исследователей, а исходный текст пользователя сохранялся для анализа.

Команда собрала систему из специализированных ИИ-агентов, Python-помощника и обновляемой таксономии. Сегментатор выделяет смысловые темы в комментарии, критик полноты проверяет, ничего ли не пропущено, классификатор применяет таксономию, независимый критик правил сверяет разметку с текстом, корректор один раз исправляет явные ошибки. Python-помощник формирует очередь и бакеты, проверяет структуру ответа, выводит теги из выбранных консёрнов и записывает результат. Для каждого комментария сохраняются тип сигнала, консёрны найденных тем и связанные теги.

Сначала команда пробовала один агент с большим списком правил: на длинной очереди качество снижалось. Архитектура сложилась после нескольких тестовых запусков; размер бакета увеличили до 50 комментариев, чтобы не тратить ресурсы на повторные инструкции. Качество оценивают на контрольной выборке из 196 комментариев, размеченных вручную вместе с UX-исследователями: Micro F1 по консёрнам — 83,87%, по тегам — 90,27%. Для шести неоднозначных комментариев заранее зафиксированы допустимые варианты. Старший продакт-менеджер использует общий рейтинг проблем при квартальном планировании бэклога; раньше такая сборка занимала несколько недель.