Wayfair: ИИ размечает товары по фото, F1 выше не менее чем на 20 п. п.

Wayfair хранит описательные признаки товаров — цвет, дизайн, узор, тему — в виде структурированных тегов: на них работают поиск, фильтры, персональные рекомендации и маркетинговые кампании. В каталоге более 40 млн товаров от более чем 20 тыс. поставщиков и более 10 тыс. тегов. Информация от поставщиков и разметка сотрудников бывают непоследовательными, неточными и неполными: один поставщик называет диван красным, другой оранжевым. Покупателю из-за этого сложнее найти нужный товар, а поставщикам приходится отвечать на десятки вопросов по каждой позиции. Компания поставила задачу извлекать теги из изображений товаров автоматически.

Wayfair разработала набор моделей глубокого обучения на собственных изображениях, извлекающих визуальные теги. Готовая модель CLIP в режиме zero-shot подошла лишь для части тегов, например сюжета настенного декора (менее 5% тегов). Для остальных тегов компания в рамках партнёрства с Snorkel AI использует платформу Snorkel Flow: данные программно размечаются с помощью базовых моделей и слабого контроля, дубликаты и посторонние изображения удаляются, валидационная выборка формируется по стратифицированным и иным методам и проверяется экспертами. Модели Wayfair обучает у себя и развёртывает на своей платформе оркестрации в Google Cloud.

Snorkel опробовала новые возможности для компьютерного зрения на задаче тегирования Wayfair. По итогам партнёрства модели, обученные на данных из Snorkel Flow, показали прирост F1-меры на 20 п. п. и более против моделей на метках поставщиков для тегов дизайна, узора, формы и темы; для тега «шеврон» у акцентных кресел точность выросла более чем на 20 п. п. На теге узора ковров модель с той же или лучшей точностью удалось построить в 10 раз быстрее, чем при ручной разметке. Публикация вышла 31 мая 2023 года; компания планирует A/B-тест влияния моделей на путь покупателя и изучает детекцию объектов и сегментацию.