Альфа-Банк: MLOps-платформа сократила вывод ML-моделей до 3–4 недель

В Альфа-Банке ML-модели работают в процессах принятия рисковых решений, проверок клиентов и их операций, а также в чат-ботах. До создания экосистемы MLOps каждая автоматизированная система банка сама встраивала модель в свой исполняющий код. Это требовало нескольких разработчиков и существенных затрат времени на постановку задачи, аналитику и тестирование, а нейросетевые модели в той инфраструктуре не могли исполняться вовсе. Датасеты разные специалисты собирали по-разному. В результате вывод ML-модели в промышленную эксплуатацию мог занимать квартал и больше. Банк поставил задачу ускорить разработку и развёртывание моделей.

Банк построил экосистему ML из трёх систем. Система исполнения моделей (СИМ) автоматизирует вывод моделей в промышленную эксплуатацию и их тестирование; любой пользователь внутри банка может запросить результат модели через API-сервис. Среда разработки моделей (СРМ, MDP) на базе JupyterHub и MLflow, с Kubernetes и CI/CD через Jenkins, даёт специалистам по данным единую среду, идентичную среде исполнения. Feature Store с компонентами FS ETL, FS Registry и FS Datamart хранит признаки для моделей централизованно, чтобы их переиспользовали разные команды. По словам банка, участие людей в конвейере стало минимальным.

СИМ разрабатывалась с участием выбранного по тендеру вендора, старт — в сентябре 2021 года; СРМ и Feature Store создавала внутренняя команда, от пилота решения Feast с открытым кодом банк отказался в марте 2022 года. Серверы с GPU запустили к сентябрю 2022 года. СИМ вышла в опытно-промышленную эксплуатацию в июле 2022 года и в промышленную — в ноябре 2022 года; СРМ и Feature Store вышли в опытную эксплуатацию в декабре 2022 — январе 2023 года. Команда MLOps выросла с 3 человек в сентябре 2021 года до 21. На июнь 2023 года в СИМ работали 60 моделей, конвейер выводил 50 моделей в квартал, а срок вывода составлял 3–4 недели; следующая цель — 4–5 рабочих дней.