ОБЗОРНЫЙ АНАЛИЗ МЕТОДА ВОССТАНОВЛЕНИЯ БАЛАНСА БЕЛОГО В ТЕЛЕВИДЕНИИ

АННОТАЦИЯ

Статья посвящена рассмотрению общих принципов и существующих технических решений распознавания и управления качеством изображения при помощи автоматической регулировки баланса белого в телевидении. Отдельное внимание уделено ключевым составляющим процесса адаптивного управления. В процессе исследования предложен адаптивный палитровый метод кодирования цифровых видеопоследовательностей.

ABSTRACT

The article is devoted to the consideration of the general principles of technical solutions for adaptive image quality control in television. Special attention is paid to the key components of the adaptive management process. In the process of research, an adaptive palette method for encoding digital video sequences was proposed.

Ключевые слова: изображение, баланс белого, телевидение, качество.

Keywords: image, white balance, television, quality.

Многие системы наблюдения опираются на некоторую модель сцены, полученную путем статистической интеграции предыдущих видеокадров, что может привести к отказу в периоды изменения освещенности. Системы обнаружения движения, например, используют значительные отклонения между входящим видео и эталонной моделью. Поскольку большинство функций поверхностного отражения не являются равномерными по всему видимому спектру, любое изменение освещенности влияет на внешний вид сцены. Следовательно, желательна некоторая форма цветового постоянства, чтобы смягчить эффекты меняющегося источника света, то есть настроить входящее видео так, чтобы оно напоминало ту же сцену при некотором постоянном каноническом источнике света.

Постоянство цвета является примером субъективного постоянства и особенностью системы восприятия цвета человеком, которая обеспечивает то, что воспринимаемый цвет объектов остается относительно постоянным при различных условиях освещения. Например, человек способен зеленое яблоко видеть зеленым как в полдень, когда основным освещением является белый солнечный свет, а также на закате, когда основным освещением является красный. Это помогает людям идентифицировать объекты.

Цветовое зрение - это то, как человек воспринимает объективный цвет, благодаря которому люди, животные и машины способны различать объекты, основываясь на разных длинах волн света, отражаемого, передаваемого или излучаемого объектом. У людей свет обнаруживается глазом с помощью двух типов фоторецепторов, колбочек и палочек, которые посылают сигналы в зрительную кору, которая, в свою очередь, обрабатывает эти цвета в субъективном восприятии. Цветовое постоянство - это процесс, который позволяет мозгу распознавать знакомый объект как постоянный цвет независимо от количества или длин волн света, отраженного от него в данный момент.

Феномен цветового постоянства возникает, когда источник освещения не известен напрямую. Именно по этой причине постоянство цвета оказывает большее влияние на дни с солнцем и ясным небом, чем на пасмурные дни [3]. Даже когда солнце видно, постоянство цвета может повлиять на восприятие цвета. Это связано с незнанием всех возможных источников освещения. Хотя объект может отражать несколько источников света в глаза, постоянство цвета заставляет объективные идентичности оставаться постоянными.

В естественной среде сам источник может быть недостаточно определен в том смысле, что освещение в определенной точке сцены обычно представляет собой сложную смесь прямого и непрямого света.  Широкий спектр возможных освещенностей в естественной среде и ограниченная способность человеческого глаза воспринимать цвет означает, что постоянство цвета играет функциональную роль в повседневном восприятии. Цветовое постоянство позволяет людям взаимодействовать с миром последовательным или достоверным образом и позволяет более эффективно выносить суждения о времени суток.

Считается, что физиологическое основание для постоянства цвета включает специализированные нейроны в первичной зрительной коре, которые вычисляют локальные отношения активности колбочек сетчатки глаза, что является тем же самым вычислением, которое алгоритм ретинекса (Retinex), предложенный Лэндом (Edwin H. Land), использует для достижения цветового постоянства. Эти специализированные клетки называются клетками-двуантогонистами потому что они вычисляют как цветовое, так и пространственное противодействие. Клетки-двуантогонисты были впервые описаны Найджелом Дау (Nigel Daw) в сетчатке золотой рыбки. Было много споров о существовании этих клеток в зрительной системе приматов; их существование было в конечном итоге доказано с помощью обратного сопоставления рецептивного картирования поля и специальных стимулов, которые избирательно активируют классы с одними колбочками сетчатки глаза за один раз, так называемые «колбочко-изолирующие» стимулы.[2]

Постоянство цвета работает, только если падающее освещение содержит достаточно широкий диапазон длин волн. Различные колбочки сетчатки глаза регистрируют разные, но перекрывающиеся диапазоны длин волн света, отраженного каждым объектом в сцене. Исходя из этой информации, зрительная система пытается определить приблизительный состав освещающего света. Это освещение затем сбрасывают со счетов, чтобы получить «истинный цвет» объекта или его отражательную способность: длины волн света, который отражает объект. Эта отражательная способность в значительной степени определяет воспринимаемый цвет.

Существует два возможных нейронных механизма постоянства цвета. Первый механизм – бессознательное восприятие. В соответствии со вторым считается, что это явление вызвано сенсорной адаптацией. Исследования показывают, что постоянство цвета связано с изменениями в клетках сетчатки, а также в областях коры головного мозга, связанных со зрением. Это явление, скорее всего, связано с изменениями на разных уровнях зрительной системы.

Постоянство цвета является желательной характеристикой компьютерного зрения, и для этой цели было разработано много алгоритмов. К ним относятся несколько алгоритмов Retinex, баланса белого и другие. Эти алгоритмы получают в качестве входных данных красный / зелёный / синий значения каждого пикселя изображения и пытаются оценить отражение в каждой точке.

Один из таких алгоритмов работает следующим образом: определяется максимальное значение красного r_max всех пикселей, а также максимальное значение зеленого g_max и максимальное значение синего b_max. Предполагая, что сцена содержит объекты, которые отражают весь красный свет, и (другие) объекты, которые отражают весь зеленый свет, и еще другие, которые отражают весь синий свет, можно затем сделать вывод, что источник освещающего света описывается как (r_max, g_max, b_max) , Для каждого пикселя со значениями (r, g, b) его коэффициент отражения оценивается как (r / r_max, g / g_max, b / b_max). Оригинальный алгоритм ретинекса, предложенный Лэндом и Макканном, использует локализованную версию этого принципа.

Теория ретинекса (система RETINa-and-cortEX) была впервые предложена Э. Лэндом и Макканном (1971) для моделирования восприятия света и цвета системы человеческого зрения. Лэнд изучил характеристику легкости цветового наблюдения человеческого глаза и вывел теорию для реализации зрительного восприятия для машинного зрения. Ретинекс основан на пространственной операции двойной направленности, которая связана с нейрофизиологическими функциями нейронов в сетчатке и коре головного мозга в зрительном восприятии приматов. Retinex был одним из самых ранних методов цветопостоянства для восприятия цветов в сценариях неоднородного освещения. 

Теорию ретинекса можно разделить на две разные гипотезы: во-первых, она предоставляет модель постоянства цвета (СС), основанную на человеческом зрении (Meyer, 2010), которая будет обсуждаться более подробно ниже. Во-вторых, она также дает основную концепцию улучшения изображения (Jobson, et al. 1997b; Rahman, et al. 1996; Barnard & Funt, 1997), которая будет обсуждаться ниже.

Основные методы Retinex

Одноуровневый Ретинекс (SSR)

Джобсон и соавт. (1997b); (1996) уточняет модель Retinex и предлагает одноуровневый Retinex (single-scale Retinex – SSR), который применяет фиксированный масштаб (фильтр) для всех цветовых каналов изображения. SSR может обеспечить сжатие динамического диапазона с использованием малого или тонального воспроизведения с использованием большого масштаба. В этой методике освещенность сначала оценивается с помощью гауссовского фильтра нижних частот (ФНЧ) для входного изображения. Выходное изображение затем получается путем вычитания логарифмического входного изображения в логарифмическое гауссово фильтрованное изображение. Одноуровневый Ретинекс определяется уравнением (1.1)

Rr_i (x, y)  = log I_i (x ,y)  – log (G ( x, y) *  I_i (x, y))                                                                                    (1.1)

где Rr _i (x, y) – выход Retinex,

I _i (x, y) – распределение изображения в i-й цветовой полосе в канале (R, G, B),

«*» обозначает операцию свертки,

G_i (x,y) является нормализованной гауссовской функцией, заданная как

где c - постоянная гауссова окружающего пространства,

k - нормализационная постоянная, удовлетворяющая условию

Изображение является продуктом отражения и освещения сцен, как показано в уравнении (1.2)

I _i (x, y) = L_i (x, y) R_i (x, y)                                                                                                    (1. 2)

где L_i (x, y) - пространственное распределение освещения, а Ri (x, y) - распределение отражательной способности сцены. Фильтр Гаусса имеет больший региональный эффект и может обеспечить лучшее сжатие динамического диапазона с помощью различных пространственных констант. Однако один недостаток этой методологии состоит в том, что пространственная константа c является определенной пользователем эмпирической переменной, которая не может быть вычислена математически.

Ретинекс с несколькими шкалами (MSR) – разномасштабный ретинекс

Hurlbert (1989) расширил теорию Лэндса (1971) Retinex с одной постоянной объемного звучания на три различных сигма-значения гауссовой функции объемного звучания, чтобы получить лучшие сжатия динамического диапазона для каждого цветового канала.

Использование нескольких шкал в каждом цветовом канале в MSR имеет то преимущество, что обеспечивает лучший баланс между сжатием динамического диапазона и цветопередачей. Формулировка MSR показана в уравнениях (1.3) и (1.4):

где i⊂ (R, G, B),

N – количество шкал,

ω_n – весовой коэффициент каждой шкалы с ограничением суммирования (ω_n) = 1,

R_MSRi - i-й цветовой канал линейно объединенного SSR.

К настоящему времени систематический анализ того, как выбрать оптимальное количество шкал и точные весовые значения в каждом цветовом канале, все еще отсутствует. Большинство исследователей в данной области использовали три шкалы для анализа изображений, и трудно судить о том, имеет ли смысл их анализ. Вес имеет прямое воздействие, усиливая сжатие динамического диапазона или цветопередачу. Chao (2007) представил довольно подробный анализ с использованием SSR и MSR на изображениях МРТ. Широкий диапазон шкал и весов использовался во многих работах MSR в прошлом, и результаты показали, что методы Retinex действительно превосходили методы, основанные на выравнивании гистограммы. Чжан и соавт. (2011) также пришли к выводу, что когда достигается «хорошая» параметризация MSR, она не только поддерживает хороший коэффициент контрастности, но также увеличивает энтропию (визуальное качество) изображения по сравнению с методами выравнивания гистограммы и SSR.[1]

Ретинекс с несколькими масштабами с восстановлением цвета (MSRCR)

MSR в основном сформулирован из SSR, который реализует центр и объем, вычитая логарифмическое из объемного (или логарифмического отношения), тем самым вызывая артефакты, такие как обесцвечивание цвета, особенно когда пространственные константы установлены неправильно. Этот побочный эффект центра и объема налагает большие недостатки как на MSR, так и на SSR, что приводит к тому, что изображение становится «серым». Это очень неблагоприятно для обнаружения цели, особенно когда для обнаружения используется цветная функция.

Чтобы помочь уменьшить проблему обесцвечивания цвета, был предложен алгоритм восстановления цвета (CR), известный как мульти масштабный ретинекс с восстановлением цвета (MSRCR) (Barnard & Funt, 1997; Rahman и др. 1998; Rahman и др. 1997; Джобсон и др., 1997а). Восстановление цвета по существу оценивает статистику цветовых атрибутов из необработанного изображения, и затем оно переносится в обработанное изображение с постоянством цвета для улучшения целостности цвета. CR и сумма мульти масштабов в MSRCR могут вызывать побочный эффект выхода за пределы диапазона, который может быть ограничен путем сжатия гистограммы выходных сигналов в пределах диапазона с помощью механизма автоматического усиления / смещения. MSRCR формулируется как в уравнении (1.5):

R_MSRCRi (x, y)  = C_i (x, y) R_MSRi (x, y)                                                                                                (1.5)

Несколько линейных и нелинейных функций были реализованы и Джобсоном (1997b); (1996) обнаружили, что общее восстановление цвета намного лучше в форме уравнения (1.6)

C_i (x, y) =β log (αI_i'(x, y))                                                                                                          (1.6)

где α – сила нелинейности,

β - постоянная усиления управления,

I_i (x, y) - необработанное изображение.

G и b являются усилением и смещением.

Перечисленные эти параметры являются определяемой пользователем функцией.

1.2.2 Продвинутые алгоритмы Retinex

1.1.2.1 MSR разложения на поддиапазоны (SBD-MSR)

MSR разложения по поддиапазонам (SBD-MSR) (Jang и др. 2008) в основном представляет собой MSR с улучшениями, имеющими дополнительные передаточные функции из двух состояний для динамического сжатия среднего тона, затем следует процедура разложения компонентов масштаба на сделать их более независимыми друг от друга. Авторы (Jang и др. 2008) номенклатур этот центр окружает операции и разложения компонентов масштаба как Mlog. Алгоритм сначала отображает выход MSR через логарифмическую функцию с двумя состояниями, которая эффективно смягчает цветовые атрибуты в обоих крайних концах атрибутов интенсивности. Затем применяют компонент дифференциальной шкалы, чтобы уменьшить перекрытия между шкалами, как показано в уравнениях (1.9) и 1.10):

R'_n = mlog (I)  – mlog (F_n * I)                                                                                             (1.10)

где R_n' и R_n обозначают умеренный выход Retinex и разложенный поддиапазон (дифференциальный компонент) выход Retinex (выход SD – retinex) соответственно.

N – общее количество шкал,

G_n – функция пространства Гаусса,

I – входное изображение.

В стандартном MSR определяемый пользователем постоянный коэффициент усиления необходим для расчета выхода Retinex, но в SD-MSR коэффициент усиления для каждого поддиапазона можно оценить по дифференциальной составляющей.

Способность Retinex поддерживать постоянство цвета (CC) в значительной степени основана на центре и окружении для определения яркости сцены и соотношения (или логарифмического вычитания) с данными датчика (необработанными). Это похоже на балансировку белого, который позволяет найти спектральное излучение (освещенность) и впоследствии корректировать оценочную освещенность так, чтобы полученное изображение, казалось, было получено при белом свете или каноническом источнике света. Эти методы обычно предполагают равномерное освещение по всей сцене. Следует обратить внимание, что формирование изображения не только зависит от внутренней отражательной способности целей, но также и от таких факторов, как освещенность, характеристики сенсора и эффекты смежности фона.

Теория цветового зрения, согласно которой зрительная система включает в себя три отдельные системы глаз-мозг, называемые ретинексами, каждая из которых обладает максимальной чувствительностью к длинноволновому свету (560 нм), средневолновому свету (530 нм) или коротковолновому свету. (430 нм) и ингибирующие воздействия на другие системы, работающие для назначения цвета каждому пятну в поле зрения в соответствии с отношением для каждого из трех ретинексов света, отраженного от этого пятна, к среднему значению света, отраженного от его окружение, результирующий триплет из соотношений, однозначно определяющих цвет в каждом месте.

Теория, выдвинутая американским физиком Эдвином Х. (Эрбертом) Лендом (1909–1991 гг.), изобретателем камеры Polaroid Land и президентом корпорации Polaroid в журнале «Оптическое общество Америки» в 1971 г., объясняет постоянство цвета, поскольку относительные, а не абсолютные длины волн определяют воспринимаемый цвет, воспринимаемый цвет объекта остается постоянным до тех пор, пока коэффициенты отражения не изменяются, даже если общее количество света на любой данной длине волны заметно изменяется, и это объясняет, почему постоянство цвета нарушается, и некоторые цвета не могут быть восприняты вообще, когда поверхности рассматриваются в пустом режиме.

Эффект может быть экспериментально продемонстрирован следующим образом. Дисплей, называемый «Мондрианом» (по имени Пита Мондриана, чьи картины похожи), состоящий из множества цветных пятен, показан человеку. Дисплей освещается тремя белыми огнями: один проецируется через красный фильтр, другой - через зеленый, а другой - через синий. Человека просят отрегулировать интенсивность света, чтобы конкретное пятно на дисплее выглядело белым. Затем экспериментатор измеряет интенсивности красного, зеленого и синего света, отраженного от этого белого пятна. Затем экспериментатор просит человека определить цвет соседнего пятна, которое, например, выглядит зеленым. Затем экспериментатор настраивает свет таким образом, чтобы интенсивность красного, синего и зеленого света, отраженного от зеленого пятна, была такой же, как первоначально измерялась от белого пятна. Человек демонстрирует постоянство цвета в том, что зеленое пятно продолжает казаться зеленым, белое пятно продолжает казаться белым, а все остальные пятнышки продолжают иметь свои первоначальные цвета.

Список литературы:

1. Балобанов А.В., Балобанов В.Г., Ложкин Л.Д. Устранение избыточности из цифрового видеосигнала в прикладном телевидении способом ONM // Успехи современной радиоэлектроники. 2019. №6. С. 44-51.
2. Сухов Т.М. Применение и реализации принципа постоянной цветовой яркости в цифровых системах кодирования видеоинформации // Труды СПИИРАН. 2017. №5(54). С. 84-105.
3. Эфендиев Ч.А., Рагимов А.Т., Гурбанова Г.Г. Апертурные искажения ТВ сигнала и методы их коррекции // Приборы и системы. 2014. №4. С. 56-59.