Toei Animation: в фильме URVAN ИИ сократил предобработку фонов примерно до 1/6

Фоны аниме рисуют художники производственного отдела Toei Animation. Компания вместе с Preferred Networks (PFN) решила проверить, могут ли технологии глубокого обучения — преобразование изображений и сегментация — снять часть нагрузки. Площадкой для проверки стал экспериментальный фильм URVAN длительностью около 5 минут, опубликованный в феврале 2020 года: действие происходит в Сасэбо (префектура Нагасаки), а реальные пейзажи города показаны в двух стилях — аниме и киберпанк.

Scenify — разрабатываемый PFN инструмент поддержки создания фонов для аниме. Он автоматически превращает фотографии, снятые на месте, в фоновые материалы в аниме-стиле. В Scenify есть функция разделения на BOOK, которая автоматически вырезает из фона части, соприкасающиеся с персонажем или находящиеся на переднем плане, и «умная заливка», которая естественно заполняет пустоту после удаления части изображения. Для встраивания в рабочий процесс художников разработан прототип интерфейса для Adobe Photoshop. Финальную ретушь, в том числе в стиле киберпанк, выполняли художники Toei Animation.

В проекте участвовали отдел фонов производственного департамента Toei Animation, группа развития технологий департамента цифрового видео, которая занимается применением ИИ, и исследовательская команда новых IP «PEROs». По данным Ledge.ai, Scenify использовали примерно для 2/3 фонов фильма URVAN, а время предобработки изображений у художников сократилось примерно до 1/6 прежнего. Освободившееся время художники направили на фоны в стиле киберпанк, где творческой свободы больше. О совместной работе компании объявили 12 марта 2021 года. Дальше Toei Animation планирует внедрить Scenify в производство телесериалов и полнометражных аниме и продолжает развивать функции инструмента.