UC Berkeley: после запуска бота на GPT-4 в CS 61A вопросов о домашних заданиях на 75% меньше

CS 61A — вводный курс программирования на Python в UC Berkeley, рассчитанный примерно на 1000 студентов, в основном профильных специальностей. В прошлых семестрах студенты регулярно жаловались на долгое ожидание помощи ассистентов преподавателя по домашним заданиям; персонал курса часто просят помочь с отладкой кода. Команда курса поставила задачу дать студентам круглосуточную помощь с домашними заданиями, которая подсказывает ход решения и не выдаёт готовый ответ, и оценить, как такой помощник влияет на курс, студентов и персонал.

61A Bot — помощник на GPT-4, встроенный в автогрейдер командной строки, которым студенты проверяют код на тестах, и в расширение VS Code с кнопкой «Get Help». При непройденном тесте студент может запросить подсказку: автогрейдер собирает запрос из промпта курса, текста задачи, текущего кода, вывода ошибок и до трёх предыдущих обменов, а сервер преподавательской команды передаёт его в GPT-4 через Microsoft Azure OpenAI Service и логирует ответ. Промпт оценивает понимание задачи и план студента, даёт концептуальные или отладочные подсказки в одно-два предложения и запрещает выдавать решение. Формат одноразовый, без свободного чата — из-за рисков галлюцинаций и передачи личных данных.

Осенью 2023 года бот запустили пилотом для потока из 400 студентов, с 10-й недели — для примерно 1400 студентов обоих потоков. Весной 2024 года доступ с начала семестра получили все 900 записавшихся. За два семестра более 2000 студентов отправили 105 689 запросов; медианный студент сделал 25 запросов, пик нагрузки — 291 запрос в час. Число вопросов о домашних заданиях на форуме упало с 344 до 88 на 1000 студентов, время выполнения домашних заданий снизилось на 25–50%. В первых лабораторных работах без бота время выполнения осталось в пределах колебаний прошлых семестров; проекты выполнялись на 10–20% быстрее. Код бота и промпт опубликованы в открытом доступе.