Архив Образование · Высшее образование и наука
Georgia Tech: ИИ-ассистент Jill Watson, 66% оценок A против 62% без него
В контролируемом A/B-эксперименте на курсе по искусственному интеллекту программы OMSCS студенты с доступом к ИИ-ассистенту Jill Watson получили 66% оценок A против 62% в группе без него. Jill Watson на базе ChatGPT обслужил более 600 студентов этого курса.
/01 · ключевые результаты
-
результат
было 62% 66%
доля оценок A у студентов с доступом к Jill Watson
Georgia Tech College of Computing, пресс-релиз, 19.09.2025
группа без доступа к Jill Watson
A/B-эксперимент на курсе OMSCS, данные на сентябрь 2025 · курс по искусственному интеллекту программы OMSCS
данные компании
- 62% доля оценок A у студентов без доступа к Jill Watson · исходный уровень Georgia Tech College of Computing, пресс-релиз, 19.09.2025
- 3% доля оценок C у студентов с доступом к Jill Watson · результат Georgia Tech College of Computing, пресс-релиз, 19.09.2025
- 7% доля оценок C у студентов без доступа к Jill Watson · исходный уровень Georgia Tech College of Computing, пресс-релиз, 19.09.2025
- более 600 студентов студенты курса, которых обслужил Jill Watson · масштаб Georgia Tech College of Computing, пресс-релиз, 19.09.2025
- 75–97% точность ответов на синтетических тестовых наборах · возможность системы Georgia Tech College of Computing, пресс-релиз, 19.09.2025
оценка strategai
Оценку не приводим: эффект выражен в оценках студентов, денежные данные и нагрузка преподавателей не раскрыты
В контролируемом A/B-эксперименте на курсе по искусственному интеллекту программы OMSCS студенты с доступом к ИИ-ассистенту Jill Watson получили 66% оценок A против 62% в группе без него. Jill Watson на базе ChatGPT обслужил более 600 студентов этого курса.
/02 · паспорт кейса
Бизнес
- Компания
- Georgia Tech
- Отрасль
- Образование · Высшее образование и наука
- Функция
- Клиентский сервис
- Задача
- Чат-/голосовой бот первой линии
Технология
- Класс AI
- Генеративный ИИ: LLM, ассистенты, RAG
- Тип решения
- Гибридное решение: OpenAI
Внедрение
- Стадия
- Промышленная эксплуатация, на 19.09.2025
- География
- Соединенные Штаты
/03 · описание кейса
Зачем
Бизнес-задача
Georgia Tech ведёт онлайн-магистратуру по компьютерным наукам OMSCS. Виртуальный ассистент преподавателя Jill Watson появился в программе в 2016 году как первый ИИ-ассистент, развёрнутый в реальных учебных курсах: он отвечал на вопросы на форумах вроде Piazza по программе курса и базе прошлых вопросов и ответов. Новая версия построена на модели Community of Inquiry и должна усиливать «присутствие преподавателя» — одну из трёх ключевых составляющих эффективного онлайн-обучения: точные персонализированные ответы, подкреплённые структурой и целями курса.
Что
Решение
Последняя версия Jill Watson разработана лабораторией Design Intelligence Laboratory и институтом AI-ALOE Национального научного фонда США и использует ChatGPT от OpenAI для развёрнутого диалога со студентами. Ответы строятся на материалах курса, учебниках и расшифровках видео. Архитектура включает предобработанную базу знаний, память на MongoDB для истории диалогов и конвейер, который классифицирует вопросы, извлекает релевантный контент и модерирует ответы. Ассистент отвечает только при наличии достаточного проверенного материала курса и проверяет каждый ответ методом текстового следования (textual entailment). Ранние версии работали на платформе IBM Watson, с 2019 года — на BERT от Google.
Как
Внедрение
С 2023 года Jill Watson работает на курсе по искусственному интеллекту программы OMSCS, где обслужил более 600 студентов, а также на курсе английского языка в Wiregrass Georgia Technical College. Контролируемый A/B-эксперимент в OMSCS сравнил студентов с доступом к Jill Watson и без него; ChatGPT могли использовать все. В группе с ассистентом доля оценок A составила 66% против 62%, доля оценок C — 3% против 7%. Точность на синтетических тестовых наборах составила от 75 до 97% в зависимости от источника контента. Проект поддерживают Georgia Tech, AI-ALOE и Фонд Билла и Мелинды Гейтс; команда работает в стартапе Beyond Question LLC. Дальше планируется тестирование на вводных курсах по информатике в Georgia Tech и технических колледжах.
/04 · источники и проверка
Что подтверждено
- В A/B-эксперименте на курсе OMSCS студенты с доступом к Jill Watson получили 66% оценок A против 62% и 3% оценок C против 7% в группе без ассистента.
- С 2023 года Jill Watson работает на курсе по искусственному интеллекту OMSCS и обслужил более 600 студентов.
- Точность ответов Jill Watson на синтетических тестовых наборах составила от 75 до 97%.
Ограничения
- Сам Georgia Tech называет рост успеваемости небольшим; численность групп эксперимента и статистическая значимость разницы в оценках в источнике не приводятся.
- Данные об успеваемости относятся к одному курсу OMSCS; результаты курса английского языка в Wiregrass Georgia Technical College не раскрыты.
- Снижение нагрузки на преподавателей — ожидание исследователей; измеренных данных о сэкономленном времени нет.
- Точность 75–97% измерена на синтетических тестовых наборах.
-
[1] Georgia Tech College of Computing
Georgia Tech’s Jill Watson Outperforms ChatGPT in Real Classrooms
компания · 19.09.2025
Открыть источник
АрхИИВ /strategai · CB-000617 · Версия 1 · 11.10.2026 · /c/CB-000617/