html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Компьютерное зрение: применение вычислительных методов

Специалист по компьютерному зрению Дмитрий Дылов о развитии фототехнологий, применении методов распознавания изображений в медицине и возможностях сверхразрешения

Вычислительные методы сегодня — важный инструмент для обработки и формирования изображений. Результаты их использования улучшают качество телефонных снимков, позволяют делать медицинскую диагностику точнее и помогают увидеть новые объекты на звездном небе. Как это происходит, рассказывает специалист по computational imaging Дмитрий Дылов, доцент Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных.

ПостНаука и Сколковский институт науки и технологий представляют курс «Математическое моделирование», составленный на основе магистерской программы «Вычислительные системы в науке и технике».

У современной фотокамеры есть ряд стандартных параметров: выдержка, регуляция диафрагмы, чувствительность сенсора. От их настроек зависит качество изображения, например: яркость кадра, глубина резкости, шум. Иногда никакие манипуляции со стандартными настройками камеры не позволяют добиться желаемого качества изображения. Тогда и приходят на помощь современные вычислительные методы формирования изображений (computational imaging). Они позволяют по каждому из этих параметров сделать что-то для улучшения итоговой картинки.

Классический пример — увеличение диапазона яркости кадра (High Dynamic Range): можно сделать три-четыре снимка с разной выдержкой, наложить их и получить равномерную гистограмму изображения (получится увидеть объекты на солнце так же детально, как и в тени). Похожим способом можно добиться и незначительного увеличения глубины резкости, и уменьшения шума (зернистости) на фотографии. За этими возможностями стоят довольно простые методы прикладной математики, которые сегодня уже никого не удивляют, — они интегрированы в программное обеспечение цифровых камер и смартфонов.

Более интересная математика начинается, когда система пытается увидеть изображение на пределе своих физических возможностей. Например, когда фотографируемый объект очень мал по сравнению с эффективным размером детектора (пикселя) или когда сигнал от него очень слаб по сравнению с шумом. Тут вычислительные алгоритмы приходят на помощь на самых разных масштабах: от астрономии до микроскопии. Например, важнейшая задача в астрономии — компенсация искажений наблюдаемых звезд, вызванных турбулентностью, — решается посылкой зондирующего луча, который возбуждает атомы натрия в атмосфере, заставляя их светиться (астрономы называют такое свечение «опорной звездой»). При этом измеряется искажение фазы волнового фронта, а затем вычислительный алгоритм компенсирует присутствие турбулентности, и изображение наблюдаемой звезды становится четким. А в флуоресцентной микроскопии точно такое же зондирование волнового фронта и компенсация с помощью адаптивной оптики позволяют в разы улучшить физически ограниченное разрешение — так, что сегодня биологи могут нормально рассмотреть мельчайшие бактерии и вирусы. И с точки зрения математических методов в вопросах вытягивания полезной информации уже не так важно, идет речь о телескопии или о микроскопии.

Когда камера видит больше деталей, она на самом деле видит больше различных частот в Фурье-пространстве (или в пространстве углового распределения). Поэтому основной характеристикой качества систем формирования изображений является ее частотно-контрастная характеристика (ЧКХ). Разрешение и контраст — это на практике два самых важных параметра системы, которые описывает ЧКХ. Если знать, что именно искажает изображение, то можно цифровыми способами восстановить качество, используя математическую операцию обратной свертки и предварительно измерив ЧКХ системы.

Нестандартные системы: кодированные искажения и пленоптические камеры

Отдельное направление computational imaging посвящено созданию синтетических ЧКХ для формирующих изображения систем, когда ЧКХ не только формирует картинки, но и сама выглядит как какая-то картинка. То есть она не стандартная круглая, как в обычной камере, а многоугольная или даже внешне похожая на QR-код — такая диафрагма камеры помогает закодировать имеющееся в системе искажение с помощью своей формы, а потом настоящее изображение получается восстанавливать той же обратной сверткой. Можно даже кодировать диафрагму во времени какой-то последовательностью открываний и закрываний. Зная точно эту последовательность, получается останавливать движущиеся объекты в кадре, убирать артефакты движения (размытие). Сегодня идут работы не только по кодировке в пространстве координат и в пространстве-времени, а также с помощью цвета (синтетическое распределение по длинам волн) и с помощью поляризации света (мозаика из поляризационных фильтров с различным ориентированием относительно пикселей камеры).

Резкий рост интереса к цифровым технологиям в создании и обработке изображений произошел после 2005 года, когда люди на практике научились измерять световое поле с помощью портативной системы размером с обычный фотоаппарат — так называемый light field imaging. Такая система называется пленоптической камерой (концептуально предложена в 1992 году), она отличается от обычной камеры множеством маленьких линз, расположенных поверх пикселей матрицы сразу после обычного объектива. Эти линзы могут не только измерять освещенность какого-то объекта в кадре, но и давать локальную информацию о том, под каким углом объект был спроецирован в плоскость изображения в данной точке. Можно сказать, что один кадр, снятый такой системой, как будто содержит информацию о других ракурсах, о других углах обзора фотографируемого объекта, создавая стереоэффект. Математически разделяя соответствующие Фурье-компоненты углового распределения, получается, например, вычислить точные расстояния между объектами вдоль оптической оси камеры. В результате можно синтетически восстановить глубину резкости у размытого изображения на внушительном диапазоне расстояний. Сегодня особенно популярно использование пленоптических камер для 3D-видеосъемки, для стереоскопических дальномеров, для разработки микроскопов, для решения задач компьютерной графики.

Машинное обучение и распознавание изображений

Применение этих технологий в компьютерном зрении позволяет использовать различные достижения вычислительных наук вместе со всевозможными методами глубинного обучения. Текущие исследования направлены на то, чтобы не только получать из снимков полезную дополнительную информацию, улучшая их качество, но и тренировать распознающие алгоритмы, делать анализ в процессе сбора данных и понимать, из чего состоит конкретное изображение. Это наиболее интересно для применения в медицинских задачах.

Нейронные сети сегодня являются одним из основных методов компьютерного зрения. В последнее время нейронные сети учат сражаться друг с другом: они создают какие-то модели, которые вообще находятся за гранью человеческого понимания. Нейросети все еще остаются для нас черным ящиком, пусть и настраиваемым: они работают сами по себе, а на выходе дают какой-то результат, нередко очень точный. Но предстоит еще много сделать, чтобы понять, какие процессы происходят внутри них, потому что сегодня их математика все еще непонятна.

Если интегрировать вычислительные методы формирования и глубинного анализа изображений в единую систему, то, возможно, получится понять основы как одной, так и другой дисциплины. Над этим и ведет исследования моя группа. А приложения могут быть самые разные. Например, в медицинских целях при помощи новых технологий прямо во время получения изображения врач сможет узнать, на что именно он смотрит в реальном времени: опухоль, нервные волокна, жировую ткань или мышцу. Объединить измерение и диагностику в один процесс и есть основная цель разработок сегодня.

Внутри некоторых госпиталей есть подразделения, которые пытаются внедрять эти новые методы. Как правило, они делают это совместно с большими биоинженерными центрами, обычно при государственном финансировании, но в целом при самых разных сценариях. Например, нам удалось запустить в Нью-Йорке стартап по созданию платформы для минимального инвазивного вмешательства (minimally invasive surgery) при помощи частного инвестора, который увидел в вычислительных оптических технологиях потенциал для будущего. Врач при помощи микроманипуляторов проводит операцию: вырезает опухоль, делает прижигание или другую медицинскую процедуру, не разрезая всю брюшную полость. При этом, благодаря вычислительным методам формирования изображения, он через лапароскоп точно различает нервные волокна пациента во время операции и контролирует, не повреждаются ли они микроманипуляторами. Это пример того, как новые технологии компьютерного зрения могут транслироваться в самые важные смежные отрасли уже сегодня.

Развитие дисциплины

Исторически сначала появились математические способы представить визуальную информацию на языке чисел, а потом подоспели вычислительные мощности, позволяющие реализовать эти идеи. Если мы говорим о синтезе двух процессов — получении данных и их анализе, диагностике, — то для первого шага, то есть для создания изображений, важную роль сыграло постепенное развитие именно математических методов. Вычислительные мощности скорее важны для следующего шага, для понимания измерения.

Новые математические подходы в нашей дисциплине ведутся в основном в приложениях, а не в фундаментальной науке. Но на конференциях по вычислительным методам формирования изображений обычно всегда есть небольшая секция, посвященная именно математическим вопросам. Там обсуждают новые понятия вроде суперпикселей, возможности агностического моделирования сложных систем из множества линз; также это безлинзовые системы, вычислительные алгоритмы на разреженных или сжатых данных (compressed sensing), регуляризация шума и так далее. А затем из этих секций наиболее перспективные методы переходят в практику.

Реализация новых методов на практике может занимать разное время — в зависимости от задачи. Ту же пленоптическую камеру можно собрать просто в лаборатории, если имеется массив из линз и крупноформатная зеркальная камера. Это довольно простой пример применения вычислительной оптики, который можно достаточно быстро осуществить на практике. А если мы говорим о сверхразрешении (super-resolution), то реализовать его гораздо сложнее. Например, установка GE Healthcare OMX DeltaVision стоит около полумиллиона долларов из-за необходимости иметь очень высокую степень контроля оптической фазы, минимум аберраций и отсутствия вибрации на оптической платформе микроскопа (не говоря о вычислительных алгоритмах, которые сложнее на порядок).

Сверхразрешение — эта смежная отрасль сейчас очень популярна — хорошо иллюстрирует, в каком направлении развивается наука, основанная на данных. Общая тенденция в науке о формировании изображений и компьютерном зрении — брать важную прикладную задачу, например, в медицине или биологии, настраивать систему получения изображений, скажем микроскоп, при этом достигая пределов его возможностей, а потом применять вычислительные методы для преодоления этих пределов. При этом дополнять эти методы такими нейронными сетями, которые тоже работали бы за пределами измеримости (например, для предсказания вероятности обнаружения какого-то гена или молекулы, даже если их не видно под микроскопом).

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с postnauka.ru

1

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • PostNauka
          • математика
          • астрономия
          • исследования
          • биология
          • домен postnauka.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции