Montgomery County: ИИ-чат-бот Monty 2.0 для MC311, использование выросло более чем вдвое

Во время пандемии COVID-19 жители округа Монтгомери (штат Мэриленд) долго ждали ответа оператора службы MC311, а многие обращения — например, о помощи с арендой и финансовой поддержке — были срочными. В январе 2021 года округ запустил на сайте MC311 первый чат-бот Monty 1.0 на технологии Zammo.ai: он отвечал на английском и испанском по двум десяткам самых популярных тем. Жители считали его слишком ограниченным: бот не понимал простых формулировок. Расширение базы знаний шло вручную и требовало высокой технической квалификации. По итогам этих отзывов департамент технологий TEBS в мае 2023 года начал пилот генеративного ИИ.

Monty 2.0 — чат-бот на генеративном ИИ на сайте службы 311, который ведёт свободный диалог без заранее прописанных сценариев. Конвейер Synapse передаёт базу знаний 311 на платформу Microsoft Azure, где она индексируется для сервиса Cognitive Search. Запрос жителя через рабочий процесс Zammo.ai попадает в Cognitive Search, который ранжирует и отбирает подходящие материалы базы знаний; затем ChatGPT от OpenAI составляет из них связный ответ. Весь цикл занимает секунды. Бот отвечает более чем по 3000 тем, поддерживает более 140 языков, принимает текстовые и голосовые запросы и оставляет операторам 311 более сложные обращения.

Решение разработала внутренняя команда TEBS при поддержке Microsoft и Zammo.ai; от пилота до запуска прошло 10 месяцев, работа шла спринтами, было проведено более десятка раундов функционального тестирования и фокус-группа с жителями. Monty 2.0 запущен в марте 2024 года. По словам руководителя проекта Шайны Таки, использование бота более чем вдвое превысило уровень Monty 1.0 в сопоставимые даты, а отзывы в целом положительные; их собирают кнопками оценки в каждом диалоге. Команда дорабатывает промпты и базу знаний, внедряет Azure Prompt Flow и планирует добавить ГИС-данные округа.