Архив Образование · Высшее образование и наука
WSAC: новые сообщения чат-бота OtterBot подняли отклик школьников на 11 п.п.
В A/B-тесте на 10 263 выпускниках школ штата Вашингтон обновлённые сообщения ИИ-чат-бота OtterBot подняли долю ответивших примерно с 23 до 34% — на 11 п.п. Среди юношей заявку на финансовую помощь подали 49% против 46% при прежних сообщениях.
/01 · ключевые результаты
-
результат
11 п. п.
рост доли школьников, ответивших чат-боту, при новых сообщениях
октябрь 2023 — июнь 2024 года · A/B-тест на выпускниках 2023–2024 учебного года в программе College Bound
данные исследования
-
результат
было 46% 49%
доля юношей, подавших заявку на финансовую помощь, при новых сообщениях
при прежних сообщениях
2023–2024 учебный год · юноши в A/B-тесте на выпускниках программы College Bound
данные исследования
- 10 263 школьников выборка A/B-теста сообщений чат-бота · масштаб MDRC, документ, 03.2025
- 55,4% доля подавших заявку на финансовую помощь при новых сообщениях; разница незначима · результат MDRC, документ, 03.2025
- 15 п. п. разница в доле поданных заявок у ответивших чат-боту против не ответивших · результат MDRC, документ, 03.2025
- около 43% доля участников College Bound, получивших сообщения OtterBot · масштаб MDRC, документ, 03.2025
- около 34% доля школьников, ответивших чат-боту, при новых сообщениях · результат MDRC, документ, 03.2025
оценка strategai
Оценку не приводим: результат выражен в показателях отклика и подачи заявок, денежный эффект не измерялся
В A/B-тесте на 10 263 выпускниках школ штата Вашингтон обновлённые сообщения ИИ-чат-бота OtterBot подняли долю ответивших примерно с 23 до 34% — на 11 п.п. Среди юношей заявку на финансовую помощь подали 49% против 46% при прежних сообщениях.
/02 · паспорт кейса
Бизнес
- Компания
- Washington Student Achievement Council
- Отрасль
- Образование · Высшее образование и наука
- Функция
- Клиентский сервис
- Задача
- Чат-/голосовой бот первой линии
Технология
- Класс AI
- Классический NLP и речевые технологии
- Тип решения
- Решение вендора: Mainstay
- Данные
- Тексты сообщений и ответы школьников в чат-боте; база знаний о финансовой помощи, которую обновляют сотрудники WSAC; административные данные WSAC о подаче заявок FAFSA и WASFA и о поступлении.
Внедрение
- Стадия
- Промышленная эксплуатация, на 03.2025
- География
- Соединенные Штаты
/03 · описание кейса
Зачем
Бизнес-задача
Штат Вашингтон гарантирует финансовую помощь на обучение после школы всем, кто отвечает требованиям, однако ею пользуются мало. Школьникам из семей с низким доходом трудно разобраться в заявках FAFSA и WASFA и в доступных стипендиях. Программа College Bound заранее обещает таким ученикам оплату обучения в колледже, университете или на программе подготовки, но для этого нужно подать заявку на помощь. Среди выпусков 2020 и 2021 годов заявку подали 39% участников программы, поступили 41%. Washington Student Achievement Council (WSAC) поставил задачу повысить подачу заявок и поступление.
Что
Решение
В 2019 году WSAC запустил OtterBot — чат-бот с ИИ, который общается с учениками и родителями через текстовые сообщения. Бот присылает советы и напоминания о сроках, отвечает на вопросы в любое время: ответ генерируется на основе базы знаний, которую обновляют сотрудники WSAC, а вопросы, на которые бот ответить не может, передаются эксперту по финансовой помощи. Сообщения бота WSAC готовит вместе с компанией Mainstay, с которой у совета заключён договор. Участники College Bound из семей с низким доходом составляют 98% пользователей бота.
Как
Внедрение
В 2022 году WSAC и исследовательская организация MDRC при участии Mainstay и на средства Capital One Foundation начали проект OTTERS. На первом этапе выяснилось, что сообщения получали около 43% участников College Bound. На втором этапе тексты переписали и провели A/B-тест на 10 263 выпускниках 2023–2024 учебного года: доля ответивших выросла с 23 до 34%, у юношей доля поданных заявок — с 46 до 49%. По всей выборке разница в подаче заявок (55,4% против 54,1%) статистически незначима. Тест пришёлся на сбойный запуск новой формы FAFSA.
/04 · источники и проверка
Что подтверждено
- В A/B-тесте обновлённые сообщения OtterBot подняли долю ответивших школьников с 23 до 34%, на 11 п.п.; эффект статистически значим.
- Среди юношей заявку на финансовую помощь подали 49% получивших новые сообщения против 46% при прежних; авторы оценивают это в 141 дополнительную заявку при охвате всех юношей выборки.
- Школьники, ответившие хотя бы на одно сообщение бота, подавали заявку на 15 п.п. чаще не ответивших с учётом других факторов (выпуски 2020 и 2021 годов).
Ограничения
- A/B-тест сравнивает две версии сообщений одного бота и измеряет эффект смены текстов; общую результативность OtterBot он не оценивает.
- По всей выборке доля поданных заявок выросла с 54,1 до 55,4% — статистически незначимо; значимый эффект получен только у юношей.
- 15 п.п. — корреляция между откликом и подачей заявки; она не доказывает, что бот вызвал подачу заявок.
- Тест пришёлся на 2023–2024 учебный год со сбойным запуском новой формы FAFSA; в обычный год результат может отличаться. Данные о поступлении ещё не опубликованы.
-
[1] MDRC
Improving a Chatbot to Increase Financial Aid Applications: Findings from the Optimizing Texting Technology through Engagement Research with Students (OTTERS) Project
СМИ · 03.2025
Открыть источник
АрхИИВ /strategai · CB-002885 · Версия 1 · 26.10.2026 · /c/CB-002885/