Zalando: LLM-прокси обслуживает 2 тыс. пользователей в месяц

В Zalando более 250 инженерных команд, и, по словам компании, ценность LLM проявляется в разных формах и с разной скоростью. Компания пользуется GitHub Copilot с первых версий с автодополнением в IDE. Для API-доступа к языковым моделям и свободы выбора инструментов командам нужна общая точка входа. Платформенной команде требовался единый способ измерять внедрение: число активных пользователей в месяц и в неделю, модели и клиентские приложения. Отдельная задача состояла в контроле стоимости и безопасной настройки инструментов.

Команда ML-платформы развернула в январе 2024 года API-прокси на основе LiteLLM с доступом к моделям OpenAI, AWS Bedrock и Google Vertex. К нему добавлены простой чат-интерфейс (форк неподдерживаемого open source проекта) и CLI на pydantic-ai, возникший на хакатоне в августе 2024 года. CLI получил режим агента с поддержкой MCP, прокси для внутренних MCP-серверов с автоматической подстановкой токенов и команду, которая ставит безопасные конфигурации для Claude Code, opencode и pi. Централизованно инструмент не навязывается: инженеры выбирают IDE или CLI сами.

Прокси собирает обезличенную статистику затрат через post-call хуки и ограничивает доступ устаревшим клиентам через pre-call хуки по заголовку User-Agent. Автоматическая вставка контрольных точек кэширования промптов снизила затраты для самописных агентов. Из-за проблем LiteLLM со стабильностью и памятью перезапуск принудительно выполняется после 20 тыс. запросов; благодаря этому прокси для 2 тыс. активных пользователей в месяц работает на шести малых подах. Дополнительно у компании есть локальный прокси с TUI для отладки расходов, общая коллекция навыков агентов и обучение в формате GenAI Labs.