FOX Sports: ИИ собрал 731 видеообзор матчей чемпионата мира 2022

FOX вела американскую трансляцию чемпионата мира FIFA 2022 в Катаре. По оценке Sports Video Group, зрители всё чаще ждут от спортивных трансляций динамичного контента — графики, данных, своевременных повторов и обзоров, а на крупнейших турнирах ставки ещё выше. Задача состояла в том, чтобы зритель, подключившийся к матчу в любой момент, мог посмотреть актуальный обзор игры до текущей минуты в приложении FOX Sports на телевизорах и мобильных устройствах. Вице-президент FOX по продуктам данных и стратегии машинного обучения Фил Мартин отмечает, что футбол сложен для моделей: в игре нет устойчивых шаблонов.

Catch Up With Highlights — сквозное решение, которое принимает трансляционные потоки, находит значимые моменты матча с помощью обученной модели компьютерного зрения и выдаёт потоки с метаданными на устройства пользователей. Оно построено на открытом фреймворке Amazon Media Replay Engine для автоматической нарезки видео и сервисах AWS: AWS Lambda, Amazon Rekognition, Amazon DynamoDB для спортивных данных, AWS Elemental MediaConnect, Amazon S3 и Amazon ElastiCache. Организаторы турнира дали мало справочной информации, поэтому команда обучала модель на звуковых сигналах и ракурсах камер. Клипы собираются автоматически с переходами и затемнением.

Команда Фила Мартина разработала функцию примерно за восемь недель и запустила её к трансляциям чемпионата мира 2022 года. После запуска функция работала почти без участия человека и обновляла обзор матча более 20 раз за игру по мере событий. По ходу турнира добавлялись улучшения: оценка «нравится/не нравится», новые типы событий — отражённые удары и пенальти. Всего было автономно опубликовано 731 видеообзор по 61 матчу. По данным публикации от июля 2023 года, функция работает в трансляциях MLB, USFL и женского чемпионата мира FIFA, а осенью должна появиться в трансляциях американского футбола.