AT&T: мультиагентная оркестрация в Ask AT&T снизила затраты на ИИ до 90%

Средний суточный объём токенов в ИИ-системах AT&T достиг 8 млрд. Директор по данным компании Энди Маркус и его команда пришли к выводу, что пропускать весь этот поток через большие модели рассуждений нецелесообразно ни технически, ни экономически. Задачей стало перестроить слой оркестрации при разработке внутреннего персонального ассистента Ask AT&T. Ключевыми принципами команда называет точность, стоимость и скорость отклика инструментов.

AT&T построила мультиагентный стек на LangChain: «суперагенты» на больших языковых моделях направляют работу более мелких агентов-исполнителей, которые решают узкие задачи. По словам Маркуса, малые языковые модели в своей предметной области почти так же точны, как большие. Агенты используют собственные инструменты AT&T для обработки документов, перевода запросов на естественном языке в SQL и анализа изображений и опираются на данные компании. Модели дообучаются с RAG и собственными алгоритмами, для векторного хранилища применяется поисковая функциональность Microsoft. Действия агентов журналируются, данные изолированы, доступ разграничен по ролям; за цепочкой агентов всегда следит человек.

По словам Маркуса, перестроенная оркестрация заметно сократила задержки и время отклика; экономия затрат составила до 90%. Объём обработки вырос до 27 млрд токенов в сутки — более чем втрое за несколько месяцев. На этом стеке вместе с Microsoft Azure компания создала и развернула Ask AT&T Workflows — визуальный конструктор агентов для автоматизации задач сотрудников с вариантами без кода и с программированием на Python. Инструмент получили более 100 000 сотрудников; больше половины из них пользуются им ежедневно. Активные пользователи оценивают прирост продуктивности до 90%. Например, сетевой инженер может собрать цепочку агентов, которые сопоставляют телеметрию, открывают заявку и готовят исправление.