html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Нейросети научились анимировать «Флинтстоунов» по текстовому описанию

Allen Institute for Artificial Intelligence (AI2) / YouTube

Американские разработчики научили нейросети по текстовому описанию создавать короткие анимированные ролики с персонажами мультсериала «Флинтстоуны». Для обучения модели CRAFT использовался массив из более чем 25 тысяч вручную размеченных роликов, говорится в статье, доступной на arXiv.org.

В последнее время разработчики все чаще экспериментируют с нейросетями, генерирующими контент на основе текстового описания. Например, недавно Microsoft представила программу, которая может создавать картинку на основе текста. Однако со статичной картинкой работать значительно легче, чем с движущимися объектами, поэтому в области генерации анимированных изображений по текстовому описанию пока что не было заметного прогресса.

Специалисты из Института искусственного интеллекта Аллена и Иллинойсского университета в Урбане-Шампейне представили модель CRAFT (Composition, Retrieval and Fusion Network, «составляющая, добывающая и спаивающая нейросеть»), которая способна генерировать анимированные сцены на основе текстового описания сцены и действий персонажей. CRAFT состоит из трех разных нейросетей, которые позволяют выделять в текстовом описании подходящую композицию сцены, сущности (сюда входят как одушевленные, так и неодушевленные объекты) и фон. 

Для обучения разработчики использовали 25184 вручную размеченных трехсекундных (75 кадров) роликов со сценами из мультсериала «Флинтстоуны», при разметке которых авторы указывали кто присутствует на экране и что он делает. CRAFT  на обучающей выборке "понимает" кто и что делает, и затем использует подходящие части роликов при генерации новых сцен, а не рисует картинку с нуля. Результаты работы программы после обучения можно оценить на демонстрационного видео, опубликованного разработчиками:


Из ролика видно, что программа иногда выдает ошибки на разных уровнях исполнения: например, Вильма разговаривает по телефону, повернувшись лицом в другую сторону, а Фред в одном из роликов бежит на месте. Тем не менее, CRAFT демонстрирует заметный прогресс в области генерации видеоконтента из текстового описания - многие сцены выглядит именно так, как себе их мог бы представить человек, прочитавший текст. Стоит отметить, что пока что возможное применение представленного метода сильно ограничивает необходимость в ручной разметке большого объема данных.

Существуют и другие нейросети помогающие обрабатывать и генерировать видео. Например, в Индийском технологическом институте недавно разработали алгоритм, который может воссоздать движение на видео из размытого кадра.

Николай Воронцов

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с nplus1.ru

1

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • nplus1.ru
          • университет
          • домен nplus1.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции