Магнит: ИИ-диагност на LLM разбирает отзывы клиентов, F1 около 90%

«Магнит» развивает сбор обратной связи в своей экосистеме: магазины, доставка, маркетплейс, программа лояльности. В начале 2024 года сеть собирала примерно две тысячи отзывов в день, затем компания увеличила сбор до 150 тысяч в день, примерно половина отзывов содержит развёрнутый текст. По словам руководителя направления отзывов в Магнит OMNI, вручную обработать такой поток невозможно: бизнес не получал выводов о проблемах в магазинах, клиенты получали шаблонное «спасибо за отзыв». Задача состояла в том, чтобы превращать комментарии в понятную бизнесу информацию и в конкретные действия магазинов.

Первое решение — «ИИ-диагност». Модель на базе Llama 3.1 Instruct 70B в квантовании int4 классифицирует каждый отзыв по 80 параметрам, от ассортимента и наличия товаров до чистоты полок и удобства парковки, и определяет тональность и критичность комментария. Результаты попадают на дашборд для директоров магазинов и региональных управляющих. Второе решение — «ИИ-терапевт»: модель определяет критичность отзыва и автоматически создаёт задачу для магазина. После выполнения магазин отчитывается в системе, а контактный центр сообщает клиенту о принятых мерах. Ответы клиентам формируются по шаблонам.

Модель работает на мощностях Yandex Cloud; для снижения числа ошибок в промт добавлены примеры few-shot, для стандартизации результатов используется эмбеддер, дообучение не требуется. Архитектура построена на очереди задач в Redis: веб-API ставит задачи, воркер анализирует тексты. Основная инфраструктура развёрнута on-premise, на русском языке обрабатываются только тексты комментариев. Система обрабатывает примерно один отзыв за 2–3 секунды. Компания работает над переходом на BERT-подобные модели, обученные на данных от LLM, чтобы снизить затраты. Тестирование RAG для персонализированных ответов в рабочий контур пока не включено.