Иви: ИИ-агент диагностирует сбои приложений в Kubernetes за 2–5 минут

В Иви есть отдельный Kubernetes-кластер для дев-контура: несколько сотен неймспейсов и более 20 тысяч подов. Разработчики и QA-инженеры деплоят туда микросервисы, которые могут падать при выкатке или работать некорректно из-за параметров деплоя или ошибок в коде. Большинству пользователей не хватает экспертизы в Kubernetes, поэтому о проблемах они пишут в отдельный канал корпоративного мессенджера. Технический менеджер разбирает сообщение и эскалирует его инженеру. Пользователь ждёт ответа, а инженеры переключают контекст и откладывают плановые задачи. Компания решила передать первичную диагностику таких обращений ИИ.

Готовых решений компания не нашла и разработала собственного ИИ-агента. Он принимает сообщения из канала мессенджера через сервис на FastAPI, сам составляет план диагностики, обращается к кластеру через Kubernetes MCP-сервер и к Jenkins за логами и параметрами билдов, после чего формулирует диагноз и рекомендации. Доступ к кластеру ограничен чтением: в MCP включены только недеструктивные инструменты, сервисному аккаунту назначена роль view, секреты недоступны. Агент работает с LLM через прокси LiteLLM: на этапе разработки использовался GPT-4.1, на момент публикации — Qwen. Поведение агента задаёт подробный системный промт.

Агент написан с нуля на Python, без фреймворков для агентов, и работает только с кластером k8s-dev. Из-за того что выбранный MCP-сервер не обслуживает запросы параллельно, компания добавила несколько реплик и повторные запросы и планирует перейти на другую реализацию. По итогам нескольких месяцев эксплуатации агент выдаёт диагноз и рекомендации по типовым проблемам за 2–5 минут против 15 минут и более раньше. Типовые проблемы пользователи решают сами, а в нестандартных случаях инженер получает уже собранную агентом информацию. В планах — другие тестовые кластеры, автоматический вызов ответственного инженера, RAG по базе знаний в Confluence и доступ к коду пайплайнов и чартов.