html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Вычислительные методы в формировании изображений

Специалист по компьютерному зрению Дмитрий Дылов об операции свертки, способах исправить недостатки снимков и преодолении предела дифракции

Какие математические методы стоят за современными успехами в обработке и создании изображений? Как улучшить качество изображений и какие медицинские задачи позволяют решить сверхразрешение? Об этом рассказывает специалист по computational imaging Дмитрий Дылов, доцент Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных.

ПостНаука и Сколковский институт науки и технологий представляют курс «Математическое моделирование», составленный на основе магистерской программы «Вычислительные системы в науке и технике».

Computational imaging — это наука о формировании изображений. Перевод достаточно неточный, но это, наверное, самое близкое, что можно придумать для перевода этого понятия. Computational imaging объясняет, какими численными методами можно дополнить физические системы с ограничениями. Например, фотоаппарат делает изображение, и какими-то численными манипуляциями или алгоритмами можно добиться получения дополнительной информации. Этим, собственно, и занимается computational imaging. И сегодня мы поговорим о его применении в биомедицине, в частности в микроскопии.

Классический пример computational imaging знаком всем владельцам смартфонов: можно взять телефон и сделать HDR-фотографию (High Dynamic Range). Фактически в такой фотографии вытягивается диапазон яркости и становится равномерно распределенным вне зависимости от освещенности. Например, если стоит человек на солнце и в то же время в тени, то после численных преобразований и вытягивания распределения гистограммы можно будет различить детали как в тени, так и на солнце. И на такой восстановленной фотографии можно будет увидеть множество разных деталей, которых не было видно на засвеченном снимке. Это особенно хорошо видно в Фурье-пространстве: там появляются новые моды, которые отвечают за эти детали. И можно вообще понять, насколько хорошо работает оптическая система или цифровая оптическая система, посмотрев на прямое пространство и на пространство углового распределения, или Фурье-пространство.

Качество любой системы формирования изображения — не только фотоаппаратов, но и, например, рентген-установки — может быть хорошо описано с помощью функции рассеяния точки — point spread function либо optical transfer function, которая по-русски называется «частотно-контрастная характеристика». Она подается в пространстве углового распределения.

ф1

Фактически система со всеми своими недостатками (это, например, оптические аберрации, несовпадения цвета и даже качество стекла) может быть описана такой PSF-функцией. Она означает, что мы знаем, как будет рассеиваться точечный источник света. А математически это операция свертки. Уравнение, в котором у нас есть какое-то измерение и настоящее изображение, смазанное point spread function, является основным уравнением вычислительных методов формирования изображения. Если у нас есть какой-то недостаток в системе (например, мы делаем фотографию в движущемся транспорте и снимок получается размытым), есть какие-то оптические аберрации или мы пытаемся компенсировать недостатки оптики, то это основное уравнение, чтобы избавиться от этих эффектов. Фактически нужно совершить операцию деконволюции, а перед этим охарактеризовать нашу систему. То есть нужно понять, какая у нее частотно-контрастная характеристика, а потом совершить обратную свертку.

ф2

В качестве такого примера давайте рассмотрим bio-imaging, или микроскопию со стороны вычислительных алгоритмов. Допустим, какой-то биолог хочет рассмотреть под микроскопом вирус, размер которого порядка 100 нанометров. У него это, естественно, не получается, потому что предел оптического измерения на сегодня задается длиной волны. А если быть более точным, то этой формулой, в которой связаны между собой длина волны, численная апертура объектива микроскопа и показатель преломления среды. То есть даже после всего, что можно сделать с физической системой, то есть с объективом, численную апертуру можно увеличить, можно его даже поместить в специальное масло с высоким показателем преломления, чтобы сделать так называемый index matching. Даже совершив все эти манипуляции, вы все равно получите, что ваш вирус имеет размер порядка, скажем, 500 нанометров, а не 100. Фактически мы видим пятно вместо деталей того, что мы хотим рассмотреть. И тут на помощь приходят методы цифровой аналитики.

Согласно нашему рецепту, описанному этой формулой, мы вначале измеряем и охарактеризовываем нашу систему, измеряем частотно-контрастную характеристику. Потом, после того как PSF известна, мы можем совершать деконволюцию (обратную свертку), то есть можем восстановить изображение. И наш вирус, который размером 100 нанометров, будет выглядеть так, будто он размером 300 нанометров. Это по-прежнему размазанное пятно, но теперь мы все равно будем лучше видеть детали, чем если бы просто посмотрели микроскопом. Это один из простейших цифровых методов, позволяющих улучшить качество изображения в микроскопии. Называется deconvolution microscopy, или микроскопия с помощью обратной свертки.

Но численные методы способны на большее, чем просто deconvolution. В 2014 году ученые Эрик Бетциг, Уильям Мёрнер и Штефан Хелль получили Нобелевскую премию по химии за преодоление предела дифракции. Нобелевская премия была присуждена по химии, но те, кто занимается оптикой и вычислительными методами формирования изображений, знают, что там на самом деле вся прелесть исследования именно в вычислительных методах. При этом, к сожалению, один из исследователей — его зовут Матс Густафссон — не дожил до вручения Нобелевской премии. Но его алгоритм, пожалуй, является самым элегантным и многообещающим для развития этой науки.

ф3

Метод основан на принципе формирования муарового узора — это узор, когда две периодические картины наложены друг на друга. Если посмотреть на то, как одна картинка вращается вокруг другой, можно заметить, что возникают полосы большего размера, чем период вот этого синуса, из которой состоит каждая из отдельных картинок. Таким образом, при появлении нового характерного размера в прямом пространстве в частотном пространстве тоже появляются новые частоты, которые содержат в себе больше деталей об изображении. Это называется частотный алиасинг, позволяющий фактически расширить область того пространства, которое может рассмотреть обычный объектив.

ф4

На этой картинке можно увидеть своего рода цветочек. Так выглядит частотно-контрастная характеристика, если такую периодическую структуру нанести поверх биологического образца. В результате получено фактически двукратное увеличение площади в частотном пространстве, а значит, гораздо больше деталей и в прямом пространстве. Такая расширенная частотно-контрастная характеристика позволяет различить больше деталей в изображении самого объекта в прямом пространстве.

Мне посчастливилось поработать с оригинальным алгоритмом, который написал Матс Густафссон, а потом по лицензии передал в Applied Precision. Теперь это принадлежит GE Healthcare. Оригинальный алгоритм работает следующим образом: создается периодическая решетка, которая выглядит как синус и накладывается поверх образца (поэтому оно и называется структурированным освещением), потом эта картинка сдвигается пять раз, три раза вращается, а затем еще девять раз сдвигается по фокусу изображения. В результате получается 130–150 картинок только для того, чтобы померить одно изображение и достичь сверхразрешения. После того как мы собрали стек из 135 таких изображений, мы начинаем их обрабатывать. Эти изображения в результате дадут только одну картинку, но она будет сверхразрешенной. Из-за того, что частотно-контрастная характеристика теперь такая широкая, вы увидите дополнительные детали, которые не могли увидеть до этого. И тот же вирус размером в 100 нанометров мы уже можем увидеть с помощью этого метода.


Gustafsson, 2000

На этой картинке показано, какую картинку можно получить с помощью обычного микроскопа и каким становится изображение после деконволюции. И результат цифровой обработки этого стека изображен справа. Таким образом, наш вычислительный алгоритм позволил увидеть что-то, что мы не могли увидеть раньше.

Наравне с алгоритмами, которые позволяют создать такое сверхразрешенное изображение, сейчас активно ведется работа по методам их анализа. Методы машинного обучения, нейронные сети позволяют предсказывать, какая именно ожидается картинка. Грубо говоря, можно увидеть, что все объекты на такой картинке либо точки, либо какие-то червячки или волокна. И строятся нейронные сети, которые в принципе подсказывают исследователю, в какой области искать объект. То есть создается некоторое вероятностное пространство, в котором можно будет заметить изображение. Существует такое вероятностное пространство, в котором можно узнать, а есть там какой-то объект для сверхразрешения или нет. Если он там есть, можно применять такие алгоритмы и пытаться его разрешить и рассмотреть детали такого объекта. А если его там нет, то, вероятно, можно сделать что-то с шумом, чтобы его уменьшить или не собирать столько информации с тех участков изображения, где объекта не имеется.

Будущее этой науки сейчас заключается в том, чтобы брать наиболее релевантные биологические медицинские задачи, когда ученые пытаются понять что-то, что еще не исследовано, а потом брать микроскопы самого лучшего разрешающего качества и применять к ним цифровые методы улучшения таких изображений. И в симбиозе с машинным обучением и аналитикой можно добиваться новых биологических результатов в биологии, а также улучшать системы формирования изображений как таковые.

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с postnauka.ru

2

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • PostNauka
          • домен postnauka.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции