Магнит: матчинг товаров с конкурентами на трансформерах, HitRate +25%

Команда ML-разработчиков «Магнит Фудтех» из бизнес-группы Магнит OMNI строила систему автоматического сопоставления товаров между ассортиментом конкурентов и товарами «Магнита». По словам авторов, проект важен для аналитики электронной коммерции: точные соответствия нужны для корректного ценообразования, формирования матрицы ассортимента и оценки конкурентной позиции. Названия одного и того же товара в базах разных ритейлеров различаются («Coca-Cola Zero 330ml» и «Кока-Кола зеро 0,33 ж/б»), поэтому кажется, что у конкурента нет аналогичного товара. Объём задачи — сотни тысяч SKU с разными форматами и опечатками, которые практически невозможно свести к ручной разметке.

Финальный пайплайн сравнивает названия товаров конкурентов и «Магнита» по эмбеддингам: считает векторы, ищет ближайших соседей, формирует топ из 5–10 кандидатов и фильтрует их по косинусному сходству. Для обучения выбрана компактная модель rubert-tiny2, которую дообучили методом contrastive learning с hard negatives на парах очень похожих, но разных товаров, например «Pepsi 0,5 л» и «Pepsi Max 0,5 л». Самые спорные пары отправляются в LLM (DeepSeek, Qwen, YandexGPT). Модель возвращает JSON с оценкой «матч», «частичный» или «нематч», уверенностью и коротким объяснением.

Сначала в распоряжении команды были только текстовые заголовки карточек. Поиск ближайших названий по расстоянию Левенштейна дал HitRate@10 около 10%. Сырые модели LaBSE и ruBERT увеличили эту метрику более чем в 2 раза. После очистки названий от повторяющихся подстрок и дообучения rubert-tiny2 HitRate вырос ещё на 25%, особенно сильно улучшилась точность на пограничных случаях. Подключение LLM как последнего фильтра автоматизировало валидацию и разгрузило аналитиков. В планах команды — использовать LLM для генерации матчей и авторазметки, внедрить обучение с обратной связью от аналитиков и интегрировать результаты в систему ценообразования.