Яндекс Картинки: мультимодальные модели дали +5% релевантных картинок в топе

В Яндекс Картинках релевантность документа исторически оценивалась по двум отдельным сигналам: насколько запросу подходит само изображение и насколько — связанный с ним текст. Оба фактора были CLIP-подобными моделями, а итоговую оценку собирал общий ансамбль на бустинге. В «серой зоне», когда текстовая и картиночная релевантность расходятся, ансамбль плохо отличал подходящие объекты: например, мог принять похожего зверька за лемура из-за нужного слова в подписи. Команде нужно было научить модели учитывать изображение и текст документа одновременно и при этом уложиться в требования realtime-поиска.

Команда начала с тяжёлой мультимодальной VLM: визуальный энкодер и LLaVA-адаптер передают изображение в языковую модель вместе с текстовыми полями документа, на выходе — скор релевантности. Затем модель переделали в vBERT с двунаправленным вниманием и около миллиарда параметров. Для продакшена vBERT дистиллировали в три лёгкие модели: Embedder для кандидатогенерации (поиск по HNSW-индексу), Bi-encoder для чернового ранжирования и Light Cross-Encoder для реранкинга. Эмбеддинги документов считаются офлайн, эмбеддинг запроса кешируется, в рантайме выполняется только агрегация.

Пайплайн ранжирования многоступенчатый: из миллиардов документов обратный индекс отбирает сотни тысяч кандидатов, кандидатогенерация сужает выборку до нескольких тысяч, черновое ранжирование оценивает порядка тысячи, реранкинг формирует финальную выдачу примерно из сотни изображений. Новые модели не заменили прежнее ранжирование и вошли в ансамбль как дополнительный фактор рядом с прежними сигналами. По данным статьи в блоге компании на Хабре (август 2026 года), Bi-encoder и Cross-Encoder вместе добавили 4% релевантных изображений в топ выдачи, а с учётом Embedder суммарный прирост составил 5%. Система работает в поиске с десятками тысяч запросов в секунду.