NYC OTI: аудит оценил точность чат-бота MyCity в 84,8–92,7%

В январе 2022 года Нью-Йорк объединил городские ИТ-службы в Office of Technology and Innovation (OTI) и объявил о создании портала MyCity — единой точки доступа ко всем городским услугам и льготам. В рамках направления для бизнеса OTI переработало сайт NYC Business и добавило ИИ-чат-бот, который отвечает на вопросы о том, как открыть и вести бизнес в городе: лицензии, разрешения и другие требования. В декабре 2025 года контролёр Нью-Йорка опубликовал аудит MyCity, в котором отдельно проверил работу чат-бота.

ИИ-чат-бот встроен в бизнес-портал MyCity и отвечает на вопросы о сервисах и льготах для владельцев бизнеса; в марте 2025 года в него добавили контент городской справочной службы 311. Сами представители OTI называют систему генеративным ИИ и признают, что её ответы могут быть непоследовательными. Для обратной связи портал предлагает форму с оценкой от одной до пяти звёзд и кнопки «палец вверх» и «палец вниз» с комментариями. OTI анализирует еженедельные отчёты о работе чат-бота: число запросов, точность ответов и области для улучшения. Чат-бот работает с пометкой о бета-тестировании и предупреждением, что может давать неточные или неполные ответы.

Чат-бот запущен в сентябре 2023 года и в марте 2025 года расширен на тематику 311. В июле и августе 2025 года пользователи задали ему более 2200 вопросов; из 70 оценивших ответы 71,4% оставили негативный отзыв. Еженедельный отчёт OTI показал, что из 48 вопросов, на которые бот должен был ответить, он не ответил на 23. OTI заявляет точность выше 95%, но аудиторы пересчитали её от числа заданных вопросов и получили 84,8–92,7% за август 2025 года. Нагрузочные тесты OTI показали время ответа на вопросы 311 на уровне 12,4–16,2 секунды по 90-му процентилю. По словам OTI, выводить чат-бот из бета-версии не планируется.