html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Нейросеть превратила песню Рианны в симфонию Моцарта

Saturday Night Life / NBC, 2009

Исследователи из Facebook Research разработали метод превращения музыкальных записей в записи с другими инструментами, стилем и жанром. Метод основан на машинном обучении без учителя и позволяет тренировать нейросеть без сопоставления записей с разными стилями, инструментами или жанрами. Разработчики продемонстрировали возможности метода на разных музыкальных стилях и исполнителях, например, превратив симфонию Моцарта в запись пианиста, играющего музыку Бетховена. Работа с описанием метода опубликована на arXiv.org.

Машинное обучение применяется во многих областях и одно из самых впечатляющих применений, понятных даже неспециалисту — перенос стиля между изображениями. В основном этот метод применяется для создания картин, похожих на работы известных художников, а в последнее время появились аналогичные разработки, позволяющие создавать высококачественные фотографии, похожие по стилю на другие снимки.

В области аудиозаписей такая техника развита намного слабее. Несмотря на то, что существуют способы синтеза высококачественны записей речи и превращения речи одного человека в речь другого, технологии превращения музыки в записи других стилей пока слабо развиты. Представленная осенью 2016 года нейросеть WaveNet, предназначенная для синтеза реалистичных аудиозаписей, дала большой толчок этой области и именно ее использовали в своей работе авторы новой работы из исследовательского подразделения Facebook под руководством Янива Тейгмана (Yaniv Taigman).


Основу алгоритма составляет модифицированный исследователями алгоритм NSynth, основанный на WaveNet и представленный в 2017 году. Он состоит из единого кодировщика, который переводит исходную аудиозапись в ее высокоуровневое представление, и множества декодировщиков для перевода этого представления в аудиозапись определенного стиля. Кодировщик устроен таким образом, что он не учитывает специфические для конкретного стиля или автора свойства и извлекает из записи лишь основные элементы. Одно из преимуществ такого подхода заключается в том, что нейросеть может корректно обрабатывать музыкальные стили, которые она не слышала во время тренировки. Для того, чтобы кодировщик не запоминал музыку, а именно кодировал ее семантические свойства, во время тренировки исследователи немного искажали входные данные, изменяя тон музыки случайным образом.

Структура алгоритма

Noam Mor et al. / arXiv.org, 2018

Авторы работы натренировали нейросеть на музыке Моцарта, Гайдна, Баха и Бетховена. После тренировки исследователи провели несколько экспериментов для проверки работы нейросети. В одном из них они пригласили троих неназванных опытных пианистов, которые должны были превратить 60 пятисекундных отрезков музыкальных записей в фортепианную музыку. Треть из них были записями произведений Баха для клавишных инструментов, треть симфониями Моцарта, а еще одна треть представляла собой отрезки свинговых джазовых песен, гитарных риффов и китайской инструментальной музыки. То же самое делала и нейросеть. В результате нейросеть получила более низкие оценки за качество перевода, но все равно довольно неплохо справилась, особенно при превращении в фортепианную музыку записей из последней группы.

Авторы показали множество примеров работы нейросети. В том числе в ролике можно услышать превращение песен Metallica, Элвиса Пресли и Рианны в классическую музыку:


Кроме того, исследователи попросили добровольцев, а также троих музыкантов отличить работу нейросети от оригинальных записей. Для этого им в случайном порядке давали послушать шесть записей, из которых лишь одна была настоящей. Тесты показали, что в большинстве случаев люди не могут отличить созданные нейросетью записи от настоящих.

Недавно Google представила открытый проект музыкального синтезатора на основе алгоритма NSynth, использованного исследователями из Facebook Research. Он позволяет музыкантам в реальном времени смешивать звуки нескольких инструментов и создавать на их основе звук с новым звучанием, но характерными для исходных инструментов свойствами. Устройство построено на одноплатном компьютере Raspberry Pi 3, а все необходимое программное обеспечение и документация выложены в открытый доступ.

Григорий Копиев

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с nplus1.ru

1

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • nplus1.ru
          • эксперименты
          • домен nplus1.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции