При синтезе компенсационных алгоритмов совмещения И предполагалось, что искажения яркостей совмещаемых И невелики, поэтому критерий качества совмещения по минимуму межкадровых разностей был работоспо-

собен. Однако нередко встречаются ситуации, когда совмещаемые И имеют значительные яркостные искажения, возникающие из-за различных условий регистрации, например, из-за различных условий освещения или применения различных технических средств. В подобных случаях межкадровые разности уже не могут быть использованы для совмещения, поэтому нужны другие критерии (функционалы) качества совмещения.

Корреляционно-экстремальные алгоритмы

Предположим, что искажения яркостей двух И могут быть аппроксимированы линейной функцией. В этом случае должен быть высок коэффициент корреляции между этими И. Поэтому в качестве критерия качества совмещения может быть взят максимум локального выборочного коэффициента корреляции. Этот функционал может быть использован и в ПГ алгоритмах.

На рис. 6.4 показан пример совмещения радиолокационных И облачности. Рис 6.4,б получен с помощью радиолокатора через несколько минут после рис. 6.4,а. За это время картина облачности существенно изменилась – облака не только переместились, но и деформировались и изменили плотность. В результате их И имеют МКГТ общего вида и существенные яркостные искажения. Для иллюстрации результата совмещения на первое И условно нанесена прямоугольная сетка. На втором изображении показано ее оцененное положение (фактически – оцененное положение элементов первого И на втором И). Если сравнить фрагменты И в соответствующих клетках этих сеток, то можно сделать вывод, что совмещение достаточно точное.

Отметим, что по найденным смещениям элементов И можно оценить локальные скорости перемещения воздушных масс и построить поле скоростей ветра, что используется, например, для обеспечения безопасности полетов в окрестности аэропортов.

Использование морфологического анализа (формы)

Предположим, что в некотором приближении различие в яркостях изображений X и Y может быть описано парой неизвестных преобразований и , т. е. X и Y – две различные регистрации некоторого изображения (сцены) U. При этом, кроме различий в яркостях, имеются еще и геометрические искажения (сдвиги, повороты и т. д.).

В таких условиях обычные критерии качества совмещения (по минимуму средних квадратов разностей или по максимуму коэффициента корреляции) не могут быть применены, так как даже пара несмещенных изображений с такими яркостными искажениями может иметь большой средний квадрат разностей или малый коэффициент корреляции.

Однако человек такие изображения совмещает без особого труда, поскольку учитывает при этом форму изображений. Поэтому и при синтезе алгоритмов совмещения следует использовать форму совмещаемых изображений. Понятие формы изображений определено в как система индикаторных множеств , т. е. множеств пикселей постоянной яркости. Истинная форма изображения обычно ненаблюдаема, но имеющиеся изображения X и Y дают некоторые ее приближения, поэтому могут быть по форме близкими между собой, и это нужно использовать при совмещении.

Непосредственное использование формы для совмещения изображений трудно формализуется и приводит к переборным алгоритмам. Поэтому было бы полезно как-то преобразовать подобие формы изображений в подобие яркостей. Для этого применим следующие преобразования .

Функциональные преобразования яркостей при отсутствии шумов сохраняют линии постоянной яркости истинной формы изображения U, т. е. на X и Y эти линии могут только объединяться (происходит упрощение формы). Для формы конкретное значение яркости на этих линиях никакого значения не имеет. Поэтому изображения X и Y можно превратить в бинарные, квантуя их по яркости через один, например, четные значения яркости – 0 и нечетные – 1. После такой бинаризации изображения X и Y обычно становятся похожими между собой по общему рисунку линий, что дает возможность их совмещения. Для этого они сначала сглаживаются, после чего применяется псевдоградиентный алгоритм по максимуму коэффициента корреляции, как это описано выше.

Для примера на рис. 6.5,а и 6.5,б показаны два И, яркости которых отличаются синусоидальным преобразованием. Одно изображение относительно другого смещено на -5.4 пикселя по вертикали, на 4.3 пикселя по горизонтали и повернуто на 0.5 радиана. Эти два И визуально кажутся совершенно разными, только при внимательном рассмотрении можно заметить некое подобие формы отдельных образований, но при совершенно других яркостях. Аналогией этих И могут служить две одинаковые картинки для раскрашивания, которые два ребенка раскрасили каждый по-своему.

Результат бинаризации этих И показан на рис. 6.5,в и 6.5,г. Полученные И имеют большее сходство, чем исходные – соответствующие друг другу характерные участки визуально легко находятся.

Еще более схожи между собой сглаженные И, показанные на рис. 6.5,д и 6.5,е. При совмещении последних двух И получены оценки: сдвиг по вертикали –4.91, по горизонтали 5.51 и угол 0.48 радиана, что следует признать хорошим результатом, учитывая вид исходных И.

Страница 1 из 5

В статье рассматриваются алгоритмы совмещения изображений - процесс сопоставления одного изображения под названием шаблон с другим изображением.

Введение

Совмещение изображений – процесс сопоставления одного изображения под названием шаблон (обозначаемый как T) с другим изображением I (смотрите рисунок выше). У совмещения изображений много применений, типа отслеживания объектов на видео, анализа движения и многих других задач машинного зрения.

В 1981 Брюс Д. Лукас и Такео Канаде предложили новый метод, использовавший данные о градиенте интенсивности изображения для поиска лучшего совпадения между шаблоном T и другим изображением I. Предложенный алгоритм широко применяется в области машинного зрения в течение последних 20 лет и имеет много изменений и расширений. В их число входит алгоритм, предложенный Симоном Бейкером, Фрэнком Деллаертом и Иэном Мэтьюсом. Их алгоритм гораздо эффективней вычислительно, чем исходный алгоритм Лукаса-Канаде.

В серии статей Лукас-Канаде 20 лет спустя: объединяющая основа Бейкер и Мэтьюс пытаются классифицировать алгоритмы совмещения изображений и разделить их на две категории: поступательные и обратные, в зависимости от роли шаблона T. Также они классифицируют алгоритмы как аддитивные или композиционные, в зависимости от того, обновляется ли деформация путем добавления увеличения параметров или путем составления матриц преобразований. По данной классификации алгоритм Лукаса-Канаде должен называться поступательным аддитивным алгоритмом, а алгоритм Бейкера-Деллаерта-Мэтьюса должен называться обратным композиционным алгоритмом.

В этой статье реализуются два указанных алгоритма на языке C с использованием бесплатной библиотеки машинного зрения Intel OpenCV как основы для реализации. Также будет проведено сравнение этих двух алгоритмов для выяснения, какой из них быстрее.

Зачем нужна эта статья? Она дает хорошее понимание алгоритмов совмещения изображений. Есть много статей с уймой информации о совмещении изображений. Большинство из них предназначено для опытных читателей, а не для начинающих. Среди этих статей есть несколько таких, которые описывают сложные вещи просто. Но в них не хватало примеров кода для испытания. Итак, остальные две задачи этой статьи – относительно простое объяснение принципов работы совмещения изображений и предоставление примеров исходного кода.

Итак, мы имеем два совершенно независимых, не имеющих ничего общего между собой документа. Я хотел бы совместить фотографии из этих документов в один. Давайте рассмотрим несколько простых способов это сделать.

Способ 1: Перетаскивание (Drag and Drop)

Простое перетаскивание изображения из одного документа в другой - самый простой и наиболее распространенный способ перемещения изображений между документами в Photoshop. Осуществляется он с помощью инструмента "Перемещение" (Move Tool), который находится в самом верху панели инструментов:

При активном Move Tool, щелкните левой клавишей мыши по фотографии, которую вы хотите переместить, и удерживая клавишу нажатой, перетащите её в окно документа другой фотографии. Когда вы отпустите кнопку мыши, фотография переместится в другой документ. Я перенесу фото с каплями в документ с лицом женщины. Вот что у меня получилось:

Заметим, что Photoshop просто "уронил" перемещаемую фото в то место, где я отпустил кнопку мыши. Такой результат не очень хорош. Лучше перемещать фотографию с помощью Move Tool, предварительно зажав клавишу Shift. Переместите фото, отпустите клавишу мыши, и только потом отпустите клавишу Shift. Зажатая Shift даёт команду Photoshop разместить перемещаемое изображение в центре документа.

Отменим предыдущий шаг, нажав Ctrl+Z и снова попробуем перетащить фото, на этот раз удерживая Shift. Теперь фото с каплям воды разместилось по центру документа:

Способ 3: Скопируйте и вставьте (Copy And Paste)

Еще одним способом перемещения изображений между документами является стандартный метод "копировать-вставить", в народе именуемый "копипастой". Этот способ знаком любому пользователь компьютера.

Отличие его заключается в том, что перед копирование надо выделить документ с помощью Ctrl+A. Кроме того, выбрать всё изображение можно, если кликнуть по вкладке главного меню Выделение --> Всё (Select --> All). При выделении всего изображения, по периметру всего изображения появятся "марширующие муравьи".

Итак, шаги, необходимые для перемещения изображения из одного документа в другой:

1. Нажимаем на перемещаемый документ для его активации
2. Выбираем все пиксели изображения, нажав Ctrl+A или вкладка Select --> All
3. Копируем изображение, нажав Ctrl+C
4. Кликаем мышкой по целевому документу, т.е. по тому, в который мы будем вставлять изображение
5. Нажимаем Ctrl+V

Ну и напоследок, давайте смешаем два наших изображения. Как Вы помните. у нас фото с каплями находится над фото с женщиной.

Для того, чтобы получить фотомонтаж - эффект лица женщины через стекло с каплями дождя - надо всего лишь применить к верхнему слою с каплями режим наложения "Мягкий свет" (Soft Light). Вот что у нас получилось в результате:

Итак, теперь мы знаем три способа совмещения фотографий в одну, и как сделать простой фотомонтаж с помощью изменений режимов наложения!

Для иллюстрации данных методов на изображении разыскиваемого лица вычерчивалась медиальная линия, проходящая через верхненосовую, нижненосовую и подбородочную точки. Вырезанное по указанной линии изображение помещалось на изображение другого из сравниваемых лиц, и сопоставлялось по соответствующим элементам.

Аналогичным образом производилось совмещение по ломаной линии, отрезки которой пересекали элементы лица (лоб, левую бровь, левый зрачок, переносье, усы, ротовую щель, подбородок).

В результате применения данных методов установлено, что элементы лица в области лба, бровей, подбородка, рта не являются продолжением аналогичных элементов на совмещаемых изображениях, при этом учитывалось незначительное несовпадение положений сравниваемых лиц, которое, существенно не повлияло на результаты совмещения (см. илл. № ______).

3. Метод сравнения биологической симметрии лица.

Комбинированные изображения, составленные из правых (прямой и зеркальной) и левых (прямой и зеркальной) половин фотоснимков сравниваемых лиц сопоставлялись между собой с целью определения биологической симметрии.

В результате сравнения установлено различие биологической симметрии лиц изображенных на исследуемых фотоснимках. Комбинированное изображение, составленное из левых половин лица разыскиваемого мужчины, шире комбинированного изображения, составленного из левых половин лица проверяемого мужчины. При этом учитывалось незначительное различие в положении сравниваемых лиц, которое не повлияло на результаты сравнения (см. илл. № ____________).

4. Сопоставление методом маскирования.

Для иллюстрации данного метода был изготовлен шаблон маски прямоугольной формы закрывающий такие элементы головы как ушные раковины, волосяной покров, щеки и подбородок. Шаблон маски помещался на оба сравниваемых изображения.

Сопоставление признаков внешности сравниваемых лиц незакрытых маской подтвердило их различие, визуально они воспринимаются как разные лица (см. илл. № _____).

5. Сопоставление методом аппликации.

Для иллюстрации данного метода фрагмент изображения разыскиваемого лица вырезался по контору и помещался на изображение лица проверяемого мужчины.

В результате применения данного метода, наблюдается визуальное внешнее различие сравниваемых лиц (см. илл. № _________).

6. Сопоставление методом наложения позитивного изображения на позитивное, а также негативного изображения на позитивное .

Для иллюстрации данных методов на изображение разыскиваемого лица помещалось полупрозрачное изображение проверяемого мужчины. Оба изображения совмещались между собой по антропометрическим точкам (центру зрачка, центральной ротовой, нижнеподбородочной и др. точкам). Прозрачность изображения обеспечивалась с помощью инструментов программы «Adobe PhotoShop».

В результате применения данного метода наблюдаются различия по контуру бровей, форме линии смыкания губ, взаиморасположению ушных раковин (см. илл. № _________).

Синтезирующая часть исследования

По результатам проведенного исследования установлено, что выявленные совпадающие признаки относятся к числу групповых и объясняются их сходством у разных лиц. Они не образуют комплекс, индивидуализирующий внешний облик.

Различающиеся признаки могут быть разделены на две группы. Первую составляют те, которые могут быть объяснены как возрастной изменчивостью признаков внешности (полнота лица, форма щек, выраженность подглазных мешков и др.), так и оформлением внешности (длина волосяного покрова, вид прически, наличием у одного из мужчин усов). Вторую группу, состоящую из большинства выявленных различий, составляют признаки, устойчивые по своей природе, являющиеся существенными и позволяющие прийти к выводу, что на исследуемых фотоснимках изображены разные лица.

Результаты исследования дают основания для вывода о том, что на исследуемом фотоснимке разыскиваемого гражданина и фотоснимке проверяемого мужчины изображены разные лица.