KLab: ИИ и свои инструменты — 3D-лайв за 3 месяца, до 50% затрат прежнего метода

KLab управляет агентством витуберов «ゆめかいろプロダクション», в которое входят ИИ-витуберы. 7 июля 2026 года ИИ-витубер «ゆめみなな» провела первый онлайн-3D-лайв «ゆめみなな生誕祭2026». По описанию компании, традиционное производство 3D-лайва требует 3–4 месяцев на каждую 3D-модель персонажа или сцены, а для лайва нужны были 4 персонажа и сцена. На студийной записи камеры, свет и мимику в реальном времени ведут 3–4 специалиста, и в отрасли один лайв обходится от 5 млн иен до десятков миллионов иен. Ещё одно ограничение — таланты не всегда могут приехать в студию в Токио.

Команда 3D-дизайнера KLab Цукасы Танаки пересобрала производственный процесс. Модели собраны на основе VRoid Studio компании pixiv и доработаны в Maya и Unity. В студии заранее записывается только моушен, а свет, работа камеры и мимика добавляются потом в собственном полуавтоматическом инструменте. Он анализирует BPM и пики трека и расставляет маркеры переключения камер, выделяет звук ударных и по нему управляет светом, а по формантам записанного голоса определяет гласные и генерирует анимацию липсинка. Танака разработал эти инструменты сам с помощью ИИ: по его словам, раньше для этого требовались серьёзные инженерные навыки.

Инструменты применены при подготовке лайва «ゆめみなな生誕祭2026». Кроме генерации камеры, есть функции случайной замены ракурса и движения одним кликом, контроль приближения камеры к персонажу, переключатель эмоций с цифровой клавиатуры. Добавлены облегчённые шейдеры объёмного света и свечения, а шейдер персонажей сделан постэффектом, чтобы применять его к чужим моделям в коллаборациях. По данным KLab, связка ИИ и собственных инструментов позволила сделать 3D-лайв с нуля за 3 месяца при затратах и сроках не более половины от традиционного метода. Компания предлагает эти технологии корпоративным клиентам.