Hume AI: Claude в голосовом интерфейсе EVI, кэширование снизило затраты на 80%

Hume AI — нью-йоркский стартап и исследовательская ИИ-лаборатория на стадии Series B, которая разрабатывает эмоционально чувствительные голосовые интерфейсы. Её флагманский продукт EVI (Empathic Voice Interface) обрабатывает живую речь пользователя и отвечает с учётом того, как человек говорит. Разработчикам, которые строят приложения с голосовым общением, нужен интерфейс, способный вести быстрый и связный разговор, распознавать тон собеседника и при этом опираться на сильную языковую модель для сложных задач.

EVI 2 построен на архитектуре «голос в голос»: модель понимает тон голоса пользователя и может генерировать нужную интонацию, имитируя разные характеры, акценты и манеры речи. Анализируя тон, ритм и тембр речи, EVI определяет подходящий момент, чтобы вступить в разговор, и формулирует эмпатичный ответ; за это отвечает собственная эмпатическая большая языковая модель Hume (eLLM). EVI 2 может заменять внешние языковые модели или работать вместе с ними. Hume AI интегрировала в EVI модели Anthropic Claude, прежде всего Claude 3.5 Sonnet, и использует кэширование промптов Anthropic.

Tom’s Guide сообщил об интеграции 22 ноября 2024 года. По словам представителя Hume AI, к этому моменту EVI 2 обеспечил более 2 млн минут голосовых разговоров. По данным издания, кэширование промптов Anthropic снизило затраты на 80% и задержку на 10%. Для Hume AI и Anthropic интеграция — совместная работа над более естественным и эмпатичным общением пользователя с ИИ: Hume отвечает за распознавание и передачу эмоций в речи, Claude — за рассуждения и сложные задачи.