Meesho: ScyllaDB, Dragonfly и Go снизили затраты хранилищ ML-платформы примерно на 60%

Meesho — индийская платформа электронной коммерции. К концу 2022 года компания запустила систему ML-сервинга реального времени с DAG-исполнителем, хранилищем признаков и хранилищем взаимодействий, которая питала ключевые модели ранжирования и персонализации. По описанию компании, система работала, но не была рассчитана на масштаб: каждой новой модели требовалась собственная логика извлечения признаков, графы усложнялись, а затраты росли. Online Feature Store на Cassandra обслуживал на пике 250–300 тыс. чтений в секунду и около 1 млн записей в секунду, Interaction Store на Redis требовал ручной перебалансировки шардов.

Для извлечения признаков создан Model Proxy: он принимает идентификатор модели и контекстные идентификаторы (пользователь, товары), загружает граф извлечения признаков из ZooKeeper и возвращает матрицу векторов признаков. Новая модель подключается правкой конфигурации графа без кода. Сервис написан на Go с gRPC и Proto3. Для снижения затрат Cassandra заменена на ScyllaDB, Redis-кэш на Dragonfly, основные сервисы с Java переписаны на Go. В Interaction Store внедрено многоуровневое хранение: события в ScyllaDB, данные пользователя в Redis только на время сессии.

Ко времени распродажи Mega Blockbuster Sale 2023 года система второго поколения работала в промышленной эксплуатации. По данным компании, Online Feature Store выдержал более 1 млн запросов в секунду, затраты на хранилища признаков и взаимодействий снизились примерно на 60%, потребление памяти после перехода на Go упало примерно на 80%. Дата-сайентисты подключают модели правкой конфигурации Model Proxy, итерации по ранжированию и персонализации ускорились, метрики вовлечённости выросли. Наработки компания опубликовала как открытый проект BharatMLStack.