Купер: GigaChat размечает поисковую выдачу, точность разметки 0,7

Поиск товаров «Купера» исправляет опечатки в запросах, расширяет их синонимами, достаёт кандидатов из поискового индекса Elastic и переранжирует их. На каждом этапе нужна разметка текстовых данных: корректно ли исправлен запрос, логично ли расширять его этими синонимами, релевантны ли показанные товары. Ручная разметка требовала выгружать данные на краудсорсинговую платформу, долго ждать асессоров и тратить заметный бюджет. Команда поиска искала более быстрый и экономичный способ и решила передать эту работу, полностью или частично, большим языковым моделям.

Команда сравнила модели Mistral, GigaChat и DeepSeek, а также их комбинации — голосование моделей и переоценку с передачей неуверенных ответов другой модели. Выбран GigaChat: по описанию компании, у него самый быстрый инференс и стабильно высокая точность на русском языке. Модель проверяет кандидатов в словарь опечаток, валидирует ряды синонимов перед слиянием в GitLab, а бот в GitLab предлагает правки к merge request. Релевантность товаров модель размечает по схеме ESCI: точное совпадение, заменитель, комплементарный товар, нерелевантный товар.

Все сценарии собраны в Python-библиотеку с базовым классом LLM Labeler; кеш хранится в S3, а разметчик релевантности получает метаданные SKU из внутренних сервисов. Запросы отправляются батчами: по тестам компании это экономит токены и время без потери точности. Переход с четырёхуровневой шкалы релевантности на ESCI поднял точность LLM-разметки на сбалансированной выборке с 0,55 до 0,7. Публикация в блоге компании на Хабре 10 февраля 2026 года описывает работающий пайплайн: ежедневно размечается выборка реальных запросов за прошедший день, результаты сохраняются в базу и выводятся в BI для мониторинга долей классов и нерелевантных товаров.