Яндекс Лавка: BERT-модель офлайн готовит кеш поиска для 98% добавлений в корзину

Поиск — одна из главных поверхностей приложения Яндекс Лавки, откуда пользователи добавляют товары в заказ. В 2025 году ассортимент изменился: открылся формат дарксторов-супермаркетов с электроникой, инструментами и бытовой техникой, а также доставка товаров из аптек, зоомагазинов и цветочных магазинов по маршруту курьера. Каталог вырос на десятки тысяч позиций, и поисковый конвейер начал давать сбои на этапе генерации кандидатов. Тяжёлые модели понимали новые товары, но работали слишком медленно для рантайма, быстрая двухбашенная модель DSSM плохо обобщала, а переобучение всего стека под каждый новый ассортимент компания сочла слишком дорогим и долгим.

Команда машинного обучения Яндекс Лавки построила LLM Cache. Модель на базе BERT на несколько сотен миллионов параметров дообучена на разметке из нескольких сотен тысяч пар «запрос — товар», собранной в Яндекс Заданиях по четырём классам релевантности. Модель получает запрос вместе с описанием товара и выдаёт оценку релевантности от 0 до 1. Анализ логов показал концентрацию спроса: около 100 тыс. запросов покрывают основную часть добавлений в корзину. Поэтому тяжёлую модель прогоняют заранее, в офлайне, по топу запросов, а результаты хранят в кеше в виде троек «запрос, товар, скор»; для редких запросов остаётся прежний конвейер на DSSM и BM25.

Кеш пересчитывается ежедневно. В него отбирают запросы за последний год, которые кумулятивно дают 98% добавлений в корзину, — порядка 100 тыс. При ассортименте около 100 тыс. товаров модель оценивает около 10 млрд пар, в кеш попадают пары выше порога, подобранного по разметке. При попадании запроса в кеш выдача сразу идёт на персональное ранжирование без генерации кандидатов и фильтрации. По словам компании, кеш дал выдачу уровня BERT-модели без ограничений по скорости, сократил тайминги и позволил адаптировать поиск под супермаркеты без переобучения стека. Для товаров по маршруту курьера топ-запросов взяли из логов Яндекс Еды; эксперимент на каталогах партнёров ритейла Яндекс Еды показал прирост качества поиска.