Capacity: модели Phi в Answer Engine снизили затраты на разметку в 4,2 раза

Capacity — платформа автоматизации поддержки для корпоративных клиентов. Её продукт Answer Engine отвечает на вопросы на естественном языке, извлекая сведения из неструктурированных знаний компании: документов, писем, переписки, PDF, видео и приложений. Чтобы находить более точные и учитывающие контекст ответы на нескольких языках, Capacity решила перестроить конвейер на генеративной ИИ-архитектуре. По словам руководителя продукта Answer Engine Стива Фредериксона, требовался переход от классификатора естественного языка к генеративному решению, надёжному, масштабируемому, гибкому и экономичному. Отдельные требования — низкие задержки и защита данных клиентов.

Capacity выбрала малые языковые модели Phi от Microsoft через Azure AI Foundry, сравнив варианты по качеству результатов, цене, возможностям развёртывания и сторонним бенчмаркам. Используются Phi-4 и Phi-4-mini в вариантах с контекстом 4K и 128K, без дообучения, с промпт-инжинирингом и структурированной индексацией. Задачи разделены на два потока: офлайн-предобработка (генерация заголовков и кратких описаний, теги ключевых слов для поиска) и обработка запроса в реальном времени. Для сложных задач вроде чата с документом применяются более крупные модели. Вокруг Phi работают Azure AI Search, Translator, Language, Video Indexer, AKS и PostgreSQL.

Модели развёрнуты в облаке Azure, в средах Azure самих клиентов и в изолированных кластерах Kubernetes, чтобы данные не покидали контур клиента. В феврале 2025 года Capacity сообщила об экономии затрат в 4,2 раза по сравнению с конкурирующими решениями при том же или лучшем качестве предобработки. В истории Microsoft от мая 2025 года компания привела результаты: 97% успешного тегирования с первой попытки, рост точности тегирования на 56% относительно конвейера прошлого поколения и сокращение времени суммаризации данных с 12–14 до 4–5 секунд. Поиск поддерживает до 46 языков. Компания планирует опробовать Phi-4-multimodal.