DeepMind научила ИИ играть в «Стратего» на уровне с людьми

Исследователи из лаборатории DeepMind создали ИИ-агента DeepNash, способного играть в «Стратего» на «человеческом экспертном уровне». Об этом пишет Gizmodo. DeepNash научился играть, проведя множество партий против самого себя. В процессе он смог принимать сложные решения и рассматривать компромиссы «необычными» способами, недоступными прежним системам искусственного интеллекта. Исследователи заявили, что сочетание в «Стратего» долгосрочного принятия решений и притока несовершенной информации делает ее уникальным испытательным полигоном для ИИ. В игре обычно участвуют два человека. Она включает в себя как стратегию, так и элементы обмана. У каждого игрока есть состоящие из частей «армии», каждая из которых имеет свою ценность. Победа достигается путем захвата вражеского флага или отсутствия ходов противника. Наличие фигур с разными значениями приводит к чрезвычайно большому количеству вариантов шагов и результатов. Исследователи говорят, что в «Стратего» гораздо больше «возможных состояний», чем в техасском холдеме или го. Для победы DeepNash смешал как долгосрочную стратегию, так и краткосрочное принятие решений вроде блефа и риска. Как правило, прошлые алгоритмы не умели делать этого одновременно. «DeepNash смог найти нетривиальный компромисс между информацией и материалом, блефовать и рисковать, когда это необходимо», — рассказали исследователи. Анализ состояния доски «Стратего» искусственным интеллектом. Данные: DeepMind. Вероятно, создатели DeepNash вдохновлялись американским математиком Джоном Нэшем, предложившем равновесие Нэша. В теории игр так называется совокупность действий для двух и более игроков, согласно которым участники теряют стимул менять стратегию, если этого не делают соперники. DeepNash пытается найти равновесие Нэша в «Стратего», используя комбинацию самостоятельной игры и обучения с подкреплением под названием R-NaD. Используя как этот алгоритм, так и архитектуру глубокой нейронной сети, исследователи смогли создать модель, побеждающую даже в «чрезвычайно сложных ситуациях». Разработчики протестировали DeepNash, сравнив его с другими ботами и «лучшими игроками» на онлайн-платформе Gravon. ИИ-агент побеждал виртуальных противников в 97% случаев. Коэффициент выигрыша против людей составил 84%. В результате ИИ вошел в тройку лучших игроков как в текущем году, так и в таблице лидеров за все время. «Насколько нам известно, это первый раз, когда алгоритм ИИ смог научиться играть в “Стратего” на уровне человека-эксперта», — заявили исследователи. Напомним, в ноябре DeepMind создала искусственный интеллект, который естественным образом взаимодействует с человеком и учится у него. В том же месяце Meta создала ИИ-агента, играющего в «Дипломатию» на уровне с людьми. Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!