html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Победа ИИ OpenAI над профессионалами Dota 2: почему достижение сильно преувеличено

В прошлую пятницу на турнире The International по Dota 2 состоялась «битва, которой еще не видели». Бот проекта OpenAI, финансируемого Илоном Маском, не оставил шансов одному из сильнейших игроков в мире украинцу Даниилу «Dendi» Ишутину. «OpenAI первой в истории победила лучших в мире игроков в киберспортивной дисциплине. Это гораздо сложнее, чем традиционные настольные игры вроде шахмат и го», — написал Маск. Но, как оказалось, предприниматель сильно преувеличил достижение портфельного проекта. Бывший президент команды Google Brain и специалист в области ИИ Денни Блитц написал, почему эта победа — пока небольшое достижение.

facebook
twitter
вконтакте
pocket
linkedin
fb messenger

Когда я прочитал новости о победе бота OpenAI в Dota 2 над игроками-людьми на The International, турнире с призовым фондом в $24 млн, я прыгал от восторга. Я большой фанат киберспорта. Хотя я никогда не играл в Dota 2, но регулярно смотрю другие турниры на Twitch, и даже играл полупрофессионально в старшей школе.

Но, что более важно, игры жанра MOBA (многопользовательская онлайновая боевая арена) вроде Dota 2, и стратегии реального времени, как StarCraft 2, рассматриваются пока как лежащие за пределами текущих техник искусственного интеллекта. Эти игры требуют долгосрочного стратегического принятия решений, кооперации с другими игроками, и обладают значительно более сложными состояниями и полями действия в отличие от шахмат, го или Atari, которые «решили» с помощью техник ИИ за последнее десятилетие.

DeepMind работают над StarCraft 2 уже некоторое время и недавно сделали общедоступной исследовательскую среду. Пока никто из исследователей не смог совершить значительных прорывов. Считается, что мы, по крайней мере, в одном-двух годах от победы над хорошими игроками-людьми в StarCraft 2.

Поэтому новость о победе OpenAI и произвела такой шок. Как такое может быть? Неужели я пропустил серьезные прорывы? Я начал внимательнее исследовать то, что делал бот Dota 2, как его тренировали, в какой игровой среде он находился. Я пришел к выводу, что это впечатляющее достижение, но не прорыв в ИИ, в который хотела бы верить пресса. Я бы хотел предложить трезвое объяснение того, что же нового произошло. Существует реальная угроза слишком радужного описания успехов в разработке ИИ, которую легко можно заметить в твитах вроде этих:

OpenAI first ever to defeat world’s best players in competitive eSports. Vastly more complex than traditional board games like chess & Go.

— Elon Musk (@elonmusk) August 12, 2017

Nobody likes being regulated, but everything (cars, planes, food, drugs, etc) that’s a danger to the public is regulated. AI should be too.

— Elon Musk (@elonmusk) August 12, 2017

Стоит отметить, что ажиотаж и неверные суждения не являются ошибкой исследователей из OpenAI. Проект традиционно был очень прямолинеен и явно сообщал об ограничениях в их исследованиях. Уверен, что в этот раз произойдет то же. Пока OpenAI не опубликовал технически деталей решения, поэтому людям не из этой сферы легко прийти к неверным выводам.


Давайте начнем с того, что поймем насколько сложной была проблема, которую бот Dota 2 решал. Как она сравнивается с чем-то вроде AlphaGo?

  • 1 на 1 нельзя сравнивать с 5 на 5. Стандартный формат для Dota 2 — противостояние двух команд из пяти человек. Такая игра требует высокоуровневой стратегии, командной коммуникации и координации и обычно занимает около 45 минут. Игры 1 на 1 гораздо более ограничены. Два игрока двигаются по одному пути и пытаются друг друга убить. Такая игра обычно заканчивается в течение нескольких минут (играется до двух смертей — ред.). Для победы требуются механические навыки и краткосрочная тактика и никаких навыков вроде долгосрочного планирования и координации, которые трудно достичь текущим инструментам ИИ. По факту, количество полезные действий, которые вы можете совершить, меньше чем в го. Текущее состояние пространства (представление игрока о происходящем в игре в данный момент), если его представить умным образом, тоже будет меньше чем в го.
  • У ботов есть доступ к большему количеству информации. Бот OpenAI был построен (вероятней всего) на базе API игры для ботов. Это дает им доступ к любого рода информации, которой нет у людей. Даже если исследователи OpenAI ограничили доступ к определенным видам данных, у ботов все равно будет более точная информация. К примеру, определенный навык может действовать на противника только на определенном расстоянии. Человек должен посмотреть на экран и оценить текущее расстояние до противника. Это требует практики. Бот же знает точное расстояние и может принять моментальное решение о том, использовать навык или нет. Наличие доступа к точной цифровой информации — серьезное преимущество. Во время игры на The International можно несколько раз наблюдать использование ботом навыков на максимальной дистанции.
  • Скорость реакции. Боты могут реагировать моментально, люди — нет. В паре с информационным преимуществом, описанным выше, бот становится еще сильнее. К примеру, как только противник оказывается вне зоны действия навыка, бот может сразу отменить его.
  • Обучение на одном конкретном герое. В Dota 2 более 100 персонажей с разными навыками и сильным сторонами. Единственный герой, которым учился играть бот, это Shadow Fiend. Для него характерны моментальные атаки (а не более комплексные навыки действующие определенное время) и важно хорошо рассчитывать точную дистанцию для противника и иметь быструю реакцию — именно то, в чем силен бот.
  • Запрограммированные ограничения. Бота не обучали с нуля, когда он не знал об игре ничего. Выбор предметов был запрограммирован, как и некоторые техники вроде блокировки крипов, которые были необходимы для победы. Похоже на то, что обучался он в первую очередь взаимодействию с оппонентом.

Учитывая, что игра 1 на 1 требует больше механических навыков, не удивительно, что бот победил игроков-людей. А принимая во внимание серьезно ограниченную среду, искусственно урезанный набор возможных действий и отсутствие необходимости долгосрочного планирования, я прихожу к выводу, что:

Эта проблема была значительно проще, чем победа над чемпионом в го. Мы не достигали неожиданного прогресса из-за того, что наши алгоритмы ИИ были столь умны. Это происходило потому, что наши исследователи умеют ставить проблему именно так, чтобы обойти ограничения текущих техник.

Обучения у бота заняло около двух недель, что подтверждает мои догадки. AlphaGo потребовалось несколько месяцев высокораспределенного крупномасштабного обучения на GPU-кластерах Google. С тех пор мы добились некоторого прогресса, но не того, который бы сократил вычислительные мощности на порядок.

Но, хватит критики. Вокруг проекта может быть слишком много ажиотажа, но в ней все-таки есть и очень крутые и удивительные вещи. Очевидно, что потребовался большой объем инженерной работы и организации партнерств, чтобы все реализовать.

  • Важный шаг для ИИ и киберспорта. Наличие сложной среды вроде Dota 2 и StarCraft 2 для тестирования техник ИИ крайне важно. Если мы убедим киберспортивное сообщество и паблишеров, что можем принести ценность, применяя техники ИИ к играм, мы можем получить много поддержки. Это приведет и к более быстрому прогрессу в области ИИ.
  • Частично обозримая среда. Хотя детали того, как исследователи OpenAI работали с API пока не ясны, человек мог видеть только то, что есть на экране. Это означает, что в отличие от го или шахмат, мы находимся в частично обозримой среде (больше похоже на покер). У нас нет доступа ко всей информации о текущем состоянии игры. Такие проблемы значительно сложнее решить. Это активная зона исследования, которая требует прогресса. Но, трудно сказать, насколько частная обозримость в матчах 1 на 1 в Dota 2 играет роль.

Заметили ошибку? Выделите ее и нажмите Ctrl+Enter, чтобы сообщить нам.

facebook
twitter
вконтакте
pocket
linkedin
fb messenger
Подпишись на нашу рассылку!

Также подобрали для вас

загрузить еще

Добавить комментарий

Такой e-mail уже зарегистрирован. Воспользуйтесь формой входа или введите другой.

Вы ввели некорректные логин или пароль

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с ain.ua

1

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • AIN.UA
          • домен ain.ua

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции