Amazon: Amazon One распознаёт ладонь, более 3 млн использований

Amazon One позволяет покупателю оплатить покупку, предъявить карту лояльности, подтвердить возраст или пройти на площадку, приложив ладонь к сканеру, без кошелька и телефона. По словам вице-президента AWS Applications Джерарда Медиони, ключевое требование к системе — она не может ошибаться. Задача сложнее разблокировки смартфона по лицу: Amazon One не знает заранее, кто перед сканером, и должна быстро отличить человека от всех остальных или установить, что он не зарегистрирован. Для обучения высокоточной модели требовалось много данных, а реальных изображений ладоней у команды было мало.

Сканер Amazon One в инфракрасном свете считывает линии, бороздки и выступы ладони и сеть вен под кожей и строит из них «подпись ладони» — индивидуальное числовое векторное представление, связанное с банковской картой или аккаунтом Amazon. Чтобы обучить модель, команда с помощью генеративного ИИ создала «фабрику ладоней» — миллионы синтетических изображений ладоней и сосудов с разным освещением, позами руки и даже пластырем. Изображения размечались автоматически, что сэкономило время на ручной разметке. Систему также обучили распознавать и отклонять поддельные руки, например детальные силиконовые копии.

Amazon One разработана внутри компании; Медиони описывает работу по синтетическим данным как выполненную за годы до нынешнего интереса к генеративному ИИ. По данным публикации от 30 августа 2023 года, устройства разворачиваются в более чем 500 магазинах Whole Foods Market и в десятках сторонних точек: магазинах travel retail, спортивных и развлекательных площадках, магазинах у дома и продуктовых. Систему к тому моменту использовали более 3 млн раз с точностью 99,9999%; сочетание снимков поверхности ладони и подкожного слоя, по словам компании, дало точность в 100 раз выше, чем по двум радужкам. Применение расширено с оплаты на привязку карт лояльности и проверку возраста, среди клиентов названы Panera и стадион Coors Field.