Fitterfly: ИИ распознаёт еду по фото, кликов на 90% меньше в бета-тесте

Fitterfly — индийская компания в сфере цифрового здравоохранения, её приложение помогает людям с диабетом и другими неинфекционными заболеваниями управлять питанием. Планирование рациона остаётся главным инструментом контроля диабета 2 типа, снижения веса и профилактики болезней сердца. Традиционные способы учёта питания — ручной дневник или ввод текста в приложении — громоздки и отталкивают многих пользователей. По словам генерального директора и сооснователя Arbinder Singal, индийцы едят блюда более чем 32 кухонь, поэтому «камеру для еды» на ИИ было сложно разработать и для распознавания блюд, и для оценки размера порции.

Klik — функция приложения Fitterfly, построенная на модели Gemini Flash 1.5 на платформе Google Cloud Vertex AI. Она применяет компьютерное зрение вместе с базой данных питания Fitterfly Nutrition Database, где более 37 000 индийских блюд, чтобы распознать еду на фото и разложить её на составляющие. Функция сразу показывает блюдо, размер порции, калорийность, распределение макро- и микронутриентов и записывает результат в дневник питания пользователя. Klik открывается из дневника питания через значок камеры или в чате с ИИ-коучем JEDi; можно снимать блюдо во время еды или загрузить снимки из галереи вечером. По словам руководителя Fitterfly X-Labs Ammar Jagirdar, запись приёма пищи занимает несколько секунд даже при нескольких блюдах на тарелке.

Fitterfly запустила Klik в партнёрстве с Google Cloud; о запуске Business Standard сообщил 17 июля 2024 года в связи с мероприятием Google I/O Connect Bengaluru 2024. По словам вице-президента Google Cloud India Bikram Singh Bedi, команды двух компаний вместе подобрали модель, объединив данные Fitterfly и мультимодальные возможности Gemini, и вывели решение за очень короткий срок. На этапе бета-тестирования число кликов при записи приёма пищи сократилось на 90%. По данным издания, проверочные тесты подтвердили, что Klik точно определяет широкий круг блюд и размеры порций; конкретные показатели точности не приводятся.