html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

NVIDIA научила нейросеть эффективно бороться с шумом на фотографиях


NVIDIA / YouTube

Разработчики из NVIDIA создали нейросеть, способную убирать шум с фотографий практически без искажений. Важное отличие этого алгоритма от похожих разработок заключается в том, что его обучали только на фотографиях, на которых уже был шум, рассказывают авторы работы, которая была представлена на конференции ICML 2018.

При съемке в условиях плохого освещения фотоаппарат компенсирует недостаток света большей чувствительностью и это приводит к появлению большого количества шума на изображении. Некоторые исследователи применяли к этой проблеме методы машинного обучения, которые позволяли обучать алгоритм убирать шум с изображения. Но обычно для обучения применяются пары, составленные из «зашумленного» и чистого изображений. Это значительно упрощает обучение, но усложняет сбор обучающей выборки для алгоритма, потому что не для всех объектов можно сделать снимки на большой выдержке и с минимальным количеством шумов.

Группа разработчиков под руководством Тимо Айло (Timo Aila) из исследовательского подразделения NVIDIA предположила, что в некоторых условиях алгоритм можно обучить восстанавливать сигнал в месте шума, используя только изображения с шумом, то есть не предоставляя ему доступ к искомой части изображения. Вместо обучения на парах с одним чистым изображением исследователи применили обучение на паре изображений со случайным шумом. Разработчики отмечают, что по сути это аналогично тому, как фотоаппарат на длинной выдержке в темноте создает относительно чистое изображение из множества изображений с низкой выдержкой и низким отношением сигнал-шум.


Исследователи использовали для проверки подхода две сверточные нейросети: для большей части работы применялась сеть U-Net, а для одного из тестов исследователи использовали вместо нее остаточную сеть RED30. Авторы использовали в качестве обучающей выборки 50 тысяч изображений с разрешением 256 на 256 пикселей. Ко всем изображениям добавляли искусственный шум, причем для каждой пары изображений уровень шума был тоже случайным и нейросети необходимо было учитывать это при очистке изображения. Кроме того, алгоритмы обучались на рендерах помещений, фотографиях с нанесенными на них разноцветными надписями и других обучающих объектах.

Нейросети обучались в течение нескольких сотен и тысяч эпох (проходов по обучающей выборке), после чего их работу сравнивали с алгоритмами, обучавшимися на парах чистых изображений и изображений с шумом, а также с исходными изображениями. В качестве основной характеристики работы алгоритма авторы использовали пиковое отношение сигнала к шуму (PSNR), которое обычно применяют для оценки алгоритмов для подавления шума. В результате исследователям удалось подтвердить их гипотезу, согласно которой алгоритм можно обучить восстанавливать сигнал, не имея доступа к исходному изображению, с качеством, близким к алгоритмам, обучаемым на чистых изображениях без шума.

Помимо применения техники в фотографии, в частности в астрофотографии или съемке в темноте, разработчики также предложили применять ее для повышения качества снимков МРТ и продемонстрировали примеры работы алгоритма на таких снимках:

Снимок МРТ до и после обработки

Jaakko Lehtinen et al. / arXiv.org, 2018

Недавно американские ученые научили нейросеть получать яркие фотографии с минимальным количеством шумов при съемке практически в полной темноте. В отличие от новой работы исследователей из NVIDIA они использовали пары изображений одного и того же места, сделанные с короткой и очень длинной выдержками.

Григорий Копиев

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с nplus1.ru

1

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • nplus1.ru
          • ученые
          • домен nplus1.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции