Авито: модель рекомендаций обновляется каждые 20 минут, контакты выросли на 1%

На Авито 72 млн пользователей в месяц и 240 млн активных объявлений. Рекомендации на главной странице приносят половину всех просмотров и около 30% контактов продавцам. Один из крупнейших источников кандидатов для этой ленты — коллаборативная модель avitofm, которая обучалась раз в 6 часов. Хорошие объявления с интересным товаром и адекватной ценой быстро находят покупателя: пик CTR приходится на первые часы после публикации. Из-за редкого обновления такие товары не успевали попасть в рекомендации. Команда рекомендаций поставила задачу ускорить обучение модели и подхватывать этот пик.

Модель avitofm хранит эмбеддинги товаров и пользователей в одном пространстве и обучается только на кликстриме; её скор служит кандидатогенератором и признаком ранжирующей модели. Первым шагом команда добавила инкрементальную модель, которая дообучала векторы на свежих событиях: Recall@K вырос на 6% офлайн, контакты — на 1% в A/B-тесте, но в проде оказались две модели и двойные ресурсы. Финальная neartime-архитектура оставляет одну модель на категорию: avitofm раз в сутки даёт стартовые векторы, а дальше модель дообучается каждые 20 минут на потоке событий из Kafka. Вместо 4420 моделей на сочетания категории и региона теперь 52 модели с гео-маской на инференсе.

Пайплайны работают на платформе оркестрации Авифлоу (на Kubeflow): кликстрим нарезается на окна по 20 минут, GPU-воркеры обучают модель и выгружают рекомендации в Redis. Цикл занимает около 10 минут накопления окна, 4 минуты обучения, 2 минуты расчёта top-K и 3 минуты выгрузки; p99 от события до рекомендации — не более 25 минут для всех 52 категорий. На крупных категориях оптимизатор SparseAdam снизил потребление памяти в 3 раза. Система укладывается примерно в 4 пода A100/H100 при около 6 ГБ на категорию. Статья ML-инженера Авито опубликована в блоге AvitoTech на Хабре 24 сентября 2026 года.