University of Calgary Library: чат-бот T-Rex отвечает примерно на 50% вопросов

Библиотеки Университета Калгари (University of Calgary Library) предлагают живой чат с начала 2010-х: информационные специалисты отвечали ежедневно с 9 до 17 часов. В пандемию спрос вырос: вместо 500–900 чатов в месяц в 2019 году в сентябре 2020 года пришлось 3 077 чатов. Это потребовало дополнительного времени персонала, а вечером и рано утром студенты оставались без поддержки. Анализ вопросов показал значительную долю типовых, подходящих для автоматических ответов. Проект также соответствовал приоритетам университета в поддержке студентов.

В 2021 году библиотека запустила многоязычный справочный чат-бот T-Rex на основе коммерческого продукта, который сочетает большую языковую модель (LLM) с генерацией, дополненной поиском (RAG). Бот обучен на собственных веб-материалах библиотеки, включая LibGuides и часы работы, и доступен на сайте библиотеки круглосуточно. В феврале 2023 года вендор добавил слой GPT, и бот стал формировать собственные ответы в дополнение к заданным вручную. Сегодня у бота более 1000 пользовательских ответов, а в качестве системы записи для его контента библиотека использует свои веб-страницы.

Перед запуском библиотека выгрузила около 3 000 чатов за один месяц пандемии и закодировала вопросы по темам; анализ занял около 30 часов и показал, что 14–24% обращений носят направляющий характер. Команда из восьми человек начала обучение и тестирование в апреле 2021 года вместе с вендором, в июле к тестированию подключили других сотрудников, а в начале работы ограничилась примерно пятьюдесятью вопросами. Запуск состоялся 16 августа 2021 года. Качество оценивают по анонимным еженедельным отчётам по шкале от 1 до 5. В первый год команда тратила около 5 часов в неделю на 10–15 пользовательских ответов, теперь на надзор уходит около часа в неделю. T-Rex опирается на кампусный опыт: у Канцелярии регистратора уже работал бот Rex на технологии Ivy.ai. Сейчас на кампусе шесть чат-ботов.