VK Видео: гибрид VLM и асессоров удешевил разметку видеопоиска в 60 раз

VK Видео работает с базой в 500 миллионов видеороликов и обрабатывает около 10 миллионов запросов пользователей в день. Развитие ранжирования видеопоиска требует офлайн-разметки релевантности: онлайн-метрики смещены в сторону популярных запросов и плохо отражают качество на низкочастотных. Ручная разметка асессорами давала в среднем около 1 миллиона точек в месяц. Инструкции усложнялись, рос штат квалифицированных разметчиков, а пики потребности перед калибровками не позволяли быстро нанять сотни специалистов. Задача состояла в том, чтобы ускорить и удешевить подготовку обучающих датасетов и офлайн-оценку качества поиска.

Команда мультимодальных языковых моделей взяла за основу VLM Qwen3-VL-4B и обучила её в два этапа: полный файнтюн на корпусе из сервисов VK (поисковые логи VK Видео, статьи Дзена, посты ВКонтакте) и LoRA-выравнивание на сбалансированной выборке, доразмеченной асессорами. Первая попытка полностью заменить людей не дала ожидаемого прироста метрик ранжирования. Сравнение с эталонным датасетом (Golden Set) показало, что в ряде категорий модель уступает человеку. Поэтому внедрили гибридную схему: все данные сначала размечает VLM, при уверенности выше заданного порога точка получает автоматическую оценку, остальные идут асессорам.

Для гибридной схемы создали отдельную VLM-платформу. Она сохраняет для ML-инженеров прежний интерфейс отправки данных на разметку, фильтрует результаты по порогу уверенности модели и направляет сложные случаи на ручную доразметку. При росте нагрузки узкими местами оказались обогащение запросов контекстом, ограничения на размер пакетов в обмене сообщениями между микросервисами и пропускная способность смежных пайплайнов; мощность GPU ограничением не стала. По данным автора, при разметке 80% трафика моделью Qwen 4B метрика качества комбинированной разметки (EM) достигает 0,85 против 0,82 у обычных асессоров. Датасет ранжирования пересобрали за неделю, собрав 4,5 миллиона примеров за 5 дней; затраты на точку снизились в 60 раз.