ОПРЕДЕЛЕНИЕ ОБЪЕКТОВ ИНТЕРЕСА НА ИЗОБРАЖЕНИИ В СИСТЕМЕ СОЗДАНИЯ КОЛЛАЖЕЙ

DETERMINATION A OBJECTS OF INTERESTS ON IMAGE IN THE COLLAGE CREATION SYSTEM

Alexander Kolesnikov

student, Reshetnev Siberian State University of Science and Technology,

Russia, Krasnoyarsk

АННОТАЦИЯ

Целью статьи является определение подходов к нахождению наиболее значимых объектов на изображении в системе создания коллажей. Представлены критерии и методы, которые целесообразно использовать в такой системе при совмещении изображений.

ABSTRACT

The purpose of the article is to determine the approaches to finding the most important objects on the image in the collage creation system. Criteria and methods are presented, which are rational for using in the system when images are combined.

Ключевые слова: совмещение изображений; объекты интереса; сегментация изображений; карты внимания.

Keywords: image blending; objects of interests; image segmentation; attention maps.

В настоящее время, очень популярны приложения, позволяющие людям создавать коллажи из собственного набора фотографий. При разработке такой системы, требуется решать задачу совмещения изображений. Эта задача может быть решена при помощи различных методов: бесшовное сшивание изображений, совмещение по шаблону, а также накладывание фотографий друг на друга [2].

Очевидно, что все изображения можно разделить на некоторые локальные области. Каждая из полученных областей может быть важной частью общей картины, либо менее важной. Совмещая исходные изображения, целесообразно оставить все важные области изображений без изменений. С другой стороны, те области, которые имеют меньшее значение, либо вовсе не имеют его, могут быть скрыты путем их размытия, наложения на них других изображений и т.п. Фактически, в этом и заключается основная задача – отделение тех областей, что должны быть скрыты, от тех, что не должны быть видоизменены. Эта задача не является тривиальной и для ее решения могут потребоваться различные подходы и методики.

Обычно наиболее значимый объект находится относительно в центре фотографии. Следовательно, в большинстве случаев, области находящиеся в центре изображения представляют собой важные предметы. Исключением являются лица людей – если фотография содержит одно или несколько лиц, то их также целесообразно отнести к группе важных объектов, которые требуется оставить без изменения, независимо от их пространственного расположения на изображении. В этом случае можно с относительной легкостью использовать различные алгоритмы нахождения лиц на фотографии [4], что позволит отделить их от других областей. При условии, если изображение не содержит лиц, либо содержит их, но они не находятся близ его центра, необходимо определить другие важные объекты, которые находятся в середине фотографии. Помимо этого, проблема состоит в том, что искомые элементы могут простираться от центра изображения к его границам. Это может привести к неумышленному скрытию частей важных объектов. Примеры исходных изображений с объектом в центре, а также объектом, смещенным к краям изображения, взяты из Berkeley Segmentation Database [6] и представлены на рисунке 1а и 1б соответственно.

Для решения вышеописанной проблемы, необходимо произвести сегментацию изображений – процесс разбиения исходного изображения на области. Это позволит определить границы искомого объекта независимо от того, смещается ли он к краям изображения или нет. Процесс сегментации представляет собой одну из самых сложных задач обработки изображений [1]. Следовательно, существует множество различных алгоритмов и методов сегментации. Каждый из них имеет свои достоинства и недостатки, нацелен на конкретную поставленную перед ним задачу, а также использует различные свойства изображения: яркость, цветовые и структурные признаки и т.п.

Рисунок 1. Примеры изображений. а) изображение с объектом в центре, б) изображение с объектом, смещенным к границам

Одним из методов сегментации цветных изображений на однородные текстурные области является метод JSEG. В основе этого метода лежит идея разделить сегментацию на два этапа: квантование цвета, и пространственную сегментацию [5]. В этом и заключается преимущество данного алгоритма: отделение сходства цвета пикселей от их пространственного расположения позволяет развивать методы обоих этапов сегментации независимо друг от друга. Также, метод обладает высокой помехоустойчивостью и может проводить сегментацию изображения на разных масштабах за счет варьирования размера окрестностей пикселей карты значений цвета. Недостаток метода – высокая погрешность определения координат точек границ однородных областей, пересегментация в области теней объектов, недостаточная сегментация в случае плавного изменения значений цвета на изображении [3]. Используя исходные изображения с рисунка 1а и 1б, данный алгоритм позволяет добиться результатов, подобных тому, что продемонстрированы на рисунке 2а и 2б соответственно.

Рисунок 2. Результаты сегментации. а) результат сегментации рисунка 1а б) результат сегментации рисунка 1б

Для определения важных областей на изображении также можно использовать так называемые карты внимания. Этот подход заключается в вычислении усредненной карты внимания. Первым шагом вычисляется набор бинарных изображений на основе исходного изображения. После этого, на основе Гештальт принципа, для каждого из полученных изображений в наборе, вычисляется карта внимания. На следующем шаге, при помощи линейной комбинации всех полученных карт, вычисляется средняя карта внимания. Наконец, применяется некоторая обработка к полученной усредненной карте, и в результате получается карта значимости [7]. Она отображает уникальность каждого пикселя исходного изображения, что позволяет определить объекты интереса.

Каждый из рассмотренных подходов имеет свои преимущества и недостатки. Изложенные свойства и результаты работы алгоритма JSEG позволяют оценить его, и сделать вывод о том, что он подходит для сегментации изображения с целью определения объектов на нём. Подход с использованием карт внимания и значимости позволяет найти объекты интереса. Учитывая критерии положения важных объектов, а также комбинирование сегментации изображения и метода с использованием различных карт позволит добиться наиболее эффектных результатов при формировании коллажей.

Список литературы:

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений. Пер. с англ. под ред. П.А.Чочиа. – М.: Техносфера, 2005. – 1072 с.
2. Колесников А.О. Методы совмещения изображений в системе создания коллажей // Научный форум: Технические и физико-математические науки: сб. ст. по материалам X междунар. науч.-практ. конф. – № 9(10). – М.: Изд. «МЦНО», 2017. – С. 14-18.
3. Томилина А.И. Сегментация изображений на основе JSEG-алгоритма // Актуальные проблемы авиации и космонавтики – 2015. – Т.1. – C. 432-434.
4. Asit Kumar D., Madhura D., Pradipta Kumar B. Face Detection and Recognition: Theory and Practice – 2015 by Chapman and Hall/CRC– pp. 326.
5. Deng Y., Manjunath B.S. Unsupervised segmentation of color-texture regions in images and video // IEEE Trans. Pattern Analysis and Maсhine Intelligence. – 2001. – V. 23, № 8. – pp. 800-810.
6. The Department of Electrical Engineering and Computer Sciences at UC Berkeley [Электронный ресурс] // The Berkeley Segmentation Dataset and Benchmark. – URL: https://www2.eecs.berkeley.edu/Research/Projects/CS/vision/bsds/ (дата обращения: 23.01.18)
7. Zhang J., Sclaroff S. Saliency Detection: A Boolean Map Approach // IEEE International Conference on Computer Vision (ICCV). – 2013. – pp. 153-160.