Авито: языковая модель проверяет 100% звонков кол-центров вместо 3% вручную

Кол-центры трёх направлений недвижимости Авито — «Комфортная сделка», «Новостройки», «Ипотека и страхование» — совершают до 30 000 звонков в сутки, а вручную можно проанализировать только 3% из них. Компания не могла собрать и обобщить обратную связь клиентов, оценить работу каждого оператора и отследить риск мошенничества со стороны операторов и пользователей. Общая цель — извлекать из звонков полезную информацию и повышать эффективность операторов. Первой задачей выбрали отработку возражений: от неё часто зависит успех сделки, а клиент почти всегда сначала отказывается от предложения вступить в программу.

Модель поиска возражений извлекает из транскрипции звонка структурированный JSON: тип возражения (всего 8 типов), его текст, реплику оператора и признак отработки — была, не было или не было возможности. Регулярные выражения и классические NLP-модели не подошли, поэтому команда протестировала LLM Mistral, Qwen и собственную модель Авито A-vibe. Лучшее качество показала A-vibe 7B, дообученная LoRA-адаптером на авторазмеченном датасете. Внутренний сервис инференса LoRA-адаптеров позволил обойтись без отдельного GPU-сервиса.

Данные размечали руководители кол-центров: каждое наблюдение оценивали три асессора, затем они проверяли и исправляли авторазметку LLM. Сервис скоринга запускается по крону, берёт транскрибации из DWH, для каждого продукта настраивается свой YAML-файл, а Redis гарантирует однократную обработку звонка. Результаты выводятся в дашборды Redash с рейтингом операторов и региональных руководителей; позднее аналитику планируют встроить во внутренний сервис re-arm. По итогам анализа полная отработка всех возражений повышает конверсию в согласие с 6,5% до 27,1%. Следующие задачи — проверка чек-листа операторов, поиск причин нецелевых лидов и суммаризация диалогов.