City of Amsterdam: модель Smart Check свернули после пилота на почти 1600 заявлениях

Каждое заявление на социальное пособие в Амстердаме проверяет сотрудник; подозрительные он передаёт в отдел расследований, что может закончиться отказом, исправлением документов или снижением выплаты. По данным города, более чем в половине расследований заявлений нарушений не находят. Smart Check город начал проектировать в 2019 году, чтобы со временем заменить первичный отбор сотрудником: модель должна была отмечать меньше заявителей и находить большую долю заявлений с ошибками. Во внутреннем документе город прогнозировал, что модель избавит до 125 жителей от взыскания долгов и сэкономит 2,4 млн евро в год.

Smart Check построен на алгоритме explainable boosting machine — модели, чьи прогнозы проще объяснить. Модель присваивает каждому заявителю оценку риска по 15 признакам, среди них прежние обращения за пособием, сумма активов и число адресов в учётных данных. Пол, гражданство, возраст и почтовые индексы исключены. Обучающая выборка — 3400 прошлых расследований по получателям пособий. Первая версия модели в мае 2022 года чаще ошибочно отмечала заявителей-иностранцев и на 14% чаще — мужчин; после перевзвешивания обучающих данных голландцы и иностранцы стали ошибочно отмечаться одинаково часто. Во внутреннем тестировании точность отбора оказалась на 20% выше, чем у сотрудников. Систему разрабатывали собственные команды города.

Город консультировался с уполномоченным по защите данных, Комиссией по персональным данным Амстердама и Deloitte; все они одобрили проект. Совет участия, представляющий получателей пособий, в марте 2022 года потребовал прекратить эксперимент. Пилот начался в марте 2023 года: заявления параллельно оценивали модель и сотрудник. Через модель прошло почти 1600 заявлений. Модель отмечала больше заявлений, чем сотрудники, не превзошла их в выявлении случаев, требующих проверки, и показала смещение — теперь против заявителей с голландским гражданством и женщин. В конце ноября 2023 года член городского правительства, отвечающий за социальную политику, остановил пилот. По оценке города, проект стоил около 500 000 евро плюс 35 000 евро за контракт с Deloitte.