Lamoda: LLM-разметка качества поиска ускорилась почти вдвое — около 5 часов

Lamoda оценивает качество поиска в fashion-каталоге с помощью LLM: модель определяет, насколько каждый товар в выдаче соответствует запросу — от «летнее платье» до запросов в неправильной раскладке. Первая версия разметки была отдельным Spark-приложением, которое собирало данные на driver и последовательно отправляло пары «запрос → товар» в LLM. По словам компании, решение работало, но с ростом выборки росла одна длинная очередь запросов. Позже та же механика понадобилась для классификации причин недовольства в отзывах, и команда решила отделить общую часть пайплайна от бизнес-логики.

Команда Lamoda Tech создала llm_markup — универсальное Spark-приложение для массовой обработки данных через LLM API в существующем контуре Airflow. Источник данных, промпт, формат ответа, лимиты и целевая таблица задаются конфигурацией. Инструмент распределяет запросы между Spark-партициями через mapInPandas, ограничивает частоту обращений к API, повторяет неудачные запросы, валидирует ответы и сопоставляет результат с исходными строками. Поддерживаются два режима: JSONL для меток из заданного словаря и structured для типизированного извлечения. Фреймворк работает с API, совместимым с OpenAI; используемая модель в источнике не названа.

В поисковом сценарии промпт собирается из шаблона Jinja2 с данными товара: название, бренд, категория, цвет, сезон, описание. LLM возвращает метки «релевантно», «частично релевантно» и «нерелевантно»; результат пишется в Hive, затем SQL считает DCG, NDCG и precision, а BI-дашборд помогает находить регрессии ранжирования. Медианное время разметки сократилось с 9 часов 59 минут до 5 часов 16 минут. Второй продакшен-сценарий — классификация негативных отзывов с рейтингом 1–3 из Oracle DWH: в одном из запусков 234 отзыва обработаны за 10 обращений к LLM. Правила оценки проверяются на контрольной человеческой выборке.