Ford: ИИ-инструменты Mach1ML и FordLLM — более 50 тыс. пользователей

По словам инженеров Ford, внедрение машинного обучения в компании со столетней историей упиралось в организационные и технические барьеры. Разные группы дублировали работу над ML-моделями, не хватало координации общих подходов и инструментов. Не было и сложившихся навыков и практик MLOps. Инфраструктура Ford не проектировалась под машинное обучение, единого стека ML-инструментов не было, ИТ-правила мешали ML-проектам, унаследованный код не был оптимизирован под такие задачи. При этом компания применяет ИИ во многих направлениях: подключённые автомобили, производство, системы помощи водителю, маркетинг, финансы и цепочка поставок.

Ответом стал Mach1ML — внутренний набор инструментов Ford для ИИ и машинного обучения. Его задача — упростить разработку, развёртывание и масштабирование ИИ-моделей для специалистов компании. В набор входят вычислительный кластер, Google Cloud, Seldon Deploy, Weights & Biases, MLOps-платформа и фреймворк MDK (MLOps Development Kit) для сборки ML-конвейеров, готовых к промышленной эксплуатации, в Google Cloud, на собственном высокопроизводительном кластере и в гибридном режиме. Для генеративного ИИ создан портал FordLLM: через него сотрудники работают с корпоративными версиями ChatGPT, Gemini и Llama, а разработчики получают программный доступ к нескольким моделям через API.

Работу координирует Ford Artificial Intelligence Advancement Center — команда из более чем 100 специалистов по ML и DevOps, которая консультирует и реализует ключевые проекты. MLOps-платформу развивает команда из более чем 25 инженеров; она прошла несколько итераций. Первая версия MDK строилась на Kubeflow и Vertex AI, что привело к привязке к Google Cloud, поэтому вторая версия перешла на оркестрацию Apache Airflow с собственными операторами для кластера, Vertex AI и Weights & Biases. На слайде о Mach1ML рядом с FordLLM указано более 50 тыс. отдельных пользователей Ford. Многие приложения на базе генеративного ИИ, по словам докладчиков, находятся в разработке.