CyberAgent: ИИ проверяет баланс карточной игры, обучение за 10 часов

В игровом подразделении CyberAgent баланс карточных игр приходится регулярно перепроверять. Число возможных колод в одной из игр превышает 10 в 20-й степени, а число вариантов партии доходит до 10 в 40-й степени, поэтому слишком сильные карты и сочетания, так называемые «балансбрейкеры», вручную найти трудно. В мобильных играх новые карты добавляются два-три раза в месяц, и после каждого обновления игровой ИИ нужно переобучать. Долгое переобучение мешало бы итерациям настройки баланса. Планировщики также попросили получать результат в течение 36 часов после обновления мастер-данных.

Команда ИИ-стратегии разработала систему поддержки балансировки из двух ИИ. «Карточный ИИ» на основе глубокого обучения с подкреплением (метод PPO) быстро проигрывает любые колоды и оценивает их, целевое время одной партии — не более 0,1 секунды. «ИИ поиска колод» использует оптимизацию «серого ящика» и генетический алгоритм: тексты эффектов карт преобразуются языковой моделью в векторные представления, и поиск идёт с учётом смысла эффектов. Перенос обучения позволяет быстро дообучать модель на новых картах. Планировщик сам проходит весь цикл: загружает новые карты, запускает дообучение и поиск колод, затем просматривает сводные результаты.

По словам разработчиков, система внедрена в нескольких проектах в реальный процесс проектирования карт. Во время доклада на конференции CyberAgent Developer Conference 2024 (октябрь 2024 года) исследователь Ихара привёл результаты на одном новом тайтле. К запуску сервиса система проверила более 100 млн колод и более 1 млрд партий, что при минуте на партию равно примерно 1900 годам игры человека. Система нашла не замеченные при проектировании и тестовой игре паттерны: колоды из одних и тех же карт, псевдобесконечные циклы. Она также выявила ранее неизвестные ошибки в базовой логике игры. Время обучения игрового ИИ сократилось с 300 до 10 часов.