Магнит: сервис PICASSO собирает промоколлажи, около 70% лучше ручных

В «Магните» CVM-стрим Magnit Tech занимается персональными промопредложениями клиентам. Платформа монетизации предложений от поставщиков MPS автоматизировала большинство шагов подготовки маркетинговых кампаний, но узким местом осталась ручная отрисовка коллажей товарных позиций для персональных предложений в мобильном приложении. Менеджерам CRM приходилось связываться с дизайнерами, согласовывать спецификацию, ждать отрисовки и вручную загружать коллажи на платформу. Рост числа дизайнеров вместе с числом кампаний компания сочла неприемлемым и поставила задачу создать сервис автоматической генерации промоколлажей.

PICASSO — MLaaS-сервис, который по набору изображений товаров с описаниями собирает коллаж. Масштаб товаров подбирается поиском ближайшего соседа в эмбеддинговом пространстве модели CLIP, дообученной на собственном датасете пар изображений и описаний; эталонные размеры извлечены из коллажей прошлых кампаний системой детекции. Композиции генерируются по правилам и шаблонам, заданным дизайнерами (веер, зигзаг и другие). Лучший вариант выбирает классификатор Swin-T, обученный на разметке дизайнеров; пользователь может получить также три или десять лучших кандидатов. Тени строятся классическими методами на pillow и numpy.

Сервис интегрирован в платформу MPS и развёрнут в том же экземпляре на корпоративном K8s-кластере. Менеджеры CRM запускают генерацию через веб-интерфейс планирования кампаний: входные данные кампании, изображения и краткие описания, используются автоматически. Качество коллажей компания проверила слепым тестом среди дизайнеров: примерно в 70% случаев ML-варианты обошли результаты ручной работы.