Машины в ARC Raiders учатся двигаться и преследовать игроков через систему вознаграждений, где каждое успешное действие увеличивает их «ценность» в модели поведения.
Об этом рассказал руководитель исследований машинного обучения Embark Мартин Сингх-Блом на конференции GDC. По его словам, часть противников в игре управляется не только классическим игровым ИИ, но и несколькими нейросетевыми «мозгами», которые обучаются в процессе симуляций.
Машинное обучение используется прежде всего для движения и навигации. Система оценивает действия ARC через механизм наград: правильные решения увеличивают очки, неправильные — снижают их.
Например, роботы получают награду за движение к цели, сохранение равновесия и правильную ориентацию на игрока. Штрафы начисляются за чрезмерное потребление энергии или неестественные положения конечностей.
Машинное обучение применяется не для всех типов противников, а в основном для сложных многоногих машин вроде Bastions и Leapers. Их поведение контролируют несколько специализированных «мозгов», каждый из которых отвечает за отдельную задачу — например, патрулирование или преследование.
По словам разработчиков, на создание первой работающей версии ARC ушли годы. После этого технология стала масштабируемой, и её смогли применить к целой группе противников. Embark также отмечает, что систему можно дальше улучшать — поэтому будущие версии врагов могут стать заметно умнее.
Комментарии к материалу