Авито: ИИ-модель интересов в ленте главной, +1% пользователей с контактом

Рекомендации на главной странице Авито — бесконечная персональная лента объявлений: через неё проходит примерно 50% всех просмотров и 30% контактов покупателей с продавцами. Ранжирующая модель оценивает объявления независимо, поэтому похожие предложения получают близкие оценки и склеиваются в блоки одной-двух категорий. Лента становится однообразной, полезность каждого следующего похожего объявления падает, а другие интересы пользователя не попадают в верх выдачи. Команда поставила задачу повысить разнообразие и релевантность ленты, не ломая релевантность.

Первым шагом команда добавила к выдаче блендер категорий: объявления группируются по категориям с сохранением порядка ранжирующей модели, затем категория семплируется из распределения интересов пользователя, пока лента не заполнится. Интерес считался ручной формулой — счётчиком событий с весами и экспоненциальным затуханием по времени. У формулы были ограничения: она не работала для новых категорий, не связывала смежные категории, медленно переключала контекст. Формулу заменили моделью интересов на Transformer Encoder, которая предсказывает распределение интересов по категориям и подаёт веса в блендер.

Модель обучали на истории пользователя на момент посещения главной или запроса поисковой выдачи; целью служили доли добавлений в избранное и контактов по категориям в следующие 7 дней, просмотры из цели исключили. Модель компактная: размерность вектора 64, история до 512 событий, 2 слоя энкодера, чуть больше 1 млн параметров. На CPU она укладывается в 10–20 мс. Чтобы лента не становилась однообразной, предсказания сглаживают температурным софтмаксом, температуру подбирали на имитации продового трафика. По итогам A/B-теста модель раскатили в продакшен. Автор статьи — senior ML engineer Авито.