Инновационные алгоритмы для повышения качества изображения

Опубликовано: 02.09.2018

видео Инновационные алгоритмы для повышения качества изображения

How does an Electric Car work ? | Tesla Model S

В рубрику "Видеонаблюдение (CCTV)" | К списку рубрик   |   К списку авторов   |   К списку публикаций



Для достижения безупречного качества изображения необходимо слаженное взаимодействие различных компонентов и функций цифровой камеры. Существуют инновационные технологии оптимизации изображения на стороне камеры машинного зрения, обеспечивающие сбалансированное сочетание дебайеризации 5х5, сглаживания цветов, снижения уровня шума и увеличения резкости


99.Уменьшения размера изображения с помощью формата JPEG

Йорг

Кунце

Руководитель команды предварительной разработки компании Basler AG

Сёрен

Бёге

Менеджер по продукции компании Basler AG

Благодаря современным технологиям изображения отличаются значительно более высокой четкостью, точностью передачи деталей и резкостью и одновременно демонстрируют более низкий уровень шума. Ввиду того, что такие решения реализованы на базе программируемой вентильной матрицы (FPGA) камеры, они полностью поддерживают работу в режиме реального времени, практически полностью исключают задержку и позволяют освободить оперативную память ПК под программное обеспечение для обработки изображений.

Различные типы шума на изображении

Шум является неотъемлемой частью любого изображения. Он возникает по нескольким причинам, основная заключается в том, что поток света представляет собой множество фотонов. Фотоны – это частицы в квантовой механике, поведение которых определяется некоторой долей случайности. Это означает, что один пиксель, даже в условиях постоянной освещенности, иногда получает большее, иногда меньшее количество фотонов. Возникающий в результате шум носит временной характер и называется дробовым шумом фотонов. Еще одним источником шума выступает светочувствительный сенсор и его электронные схемы. Оба этих вида шума сочетаются в светочувствительном сенсоре, вследствие чего возникает временной шум на необработанном (RAW) изображении.

Вторым существенным источником шума является локальный шум. Он возникает, прежде всего, в связи с тем, что чувствительность различных пикселей к свету несколько различается. Даже незначительные различия заметны на изображении. Это явление называется неоднородностью квантового выхода.

На абсолютно темных участках изображения могут наблюдаться видимые различия в уровне яркости между пикселями, особенно в условиях слабой освещенности или слишком короткой экспозиции, а также при использовании чрезмерного аналогового усиления сигнала. Это явление известно как фиксированный шаблон шума, или неоднородность темнового сигнала, и степень его воздействия меняется от сенсора к сенсору. Оно, как правило, не является проблемой в случае высококачественных сенсоров. Вышеупомянутые шумовые эффекты возникают как в монохромных, так и цветных камерах.

Шаблон Байера как основа оптимизации цветов

В обработке изображений цветные камеры все больше вытесняют монохромные и содержат значительно больше информации. Каждый пиксель цветного изображения объединяет в себе несколько значений цветов, а именно – значения для воспроизведения красного (R), зеленого (G) и синего (B). Это изображения в RGB-цвете.

Цветные камеры с действительно трехцветными сенсорами очень сложные и дорогостоящие. Отличной и доступной альтернативой им стали уже широко распространенные цветные камеры со светочувствительным сенсором на базе так называемой матрицы Байера, или шаблона Байера. В шаблоне Байера каждый пиксель покрыт соответствующим цветным фильтром по особому шаблону, который напоминает шахматную доску. 50% этих фильтров – зеленые, а по 25% оставшихся – красные и синие (рис. 1).

Дебайеризация

В определении недостающих цветов алгоритмы дебайеризации опираются на значения цветов, получаемые от соседних пикселей. Размерность этого анализа соответствует количеству соседних пикселей, анализ которых проводится для каждого отдельно взятого пикселя, и выражается как 2x2, 3x3, 4x4, 5x5 и т.д.

На рис. 2 показаны примеры дебайеризации 2x2 и 5x5.

Дебайеризация 2x2 основана на подходе, который называется "интерполяцией методом ближайшего соседа", или "простой дебайеризацией", и известен как менее ресурсоемкий. В результате ее применения нередко возникают серьезные цветовые ошибки, наиболее распространенные – появление оранжевого и голубого цветов, особенно на границе черного и белого, например, внутри цифр и букв. Изображение также выглядит явно нерезким, при этом диагональные линии кажутся ступенчатыми. Эти результаты можно улучшить за счет выбора более сложного алгоритма интерполяции. Особенно эффективным будет сбор данных от большего количества соседних пикселей.

Именно по этой причине для инновационной дебайеризации выбирается радиус 5x5 пикселей. Алгоритмом используются необработанные данные для построения изображения RGB, в результате чего обеспечивается более высокое качество цветного изображения без искажения цветов, с четким воспроизведением текста, гладкими и резкими границами диагональных линий (рис. 3).

Инновационные алгоритмы дебайеризации разработаны с целью существенного повышения качества цветного изображения для его восприятия человеческим глазом. Они включают в себя несколько этапов расчетов. Помимо дебайеризации, выполняется сглаживание цветов (устранение искажений цветов), шумоподавление и увеличение резкости.

Человеческий глаз способен различать контрасты на границе черного и белого в гораздо более высоком разрешении, чем на границе цветов. Это свойство человеческого глаза положено в основу современного алгоритма дебайеризации, поэтому черно-белые контрастные области воспроизводятся с более высокой резкостью и точностью, аналогично качеству изображений, получаемых монохромными камерами. Такой подход гарантирует высокую четкость контуров и отличную различимость цифр и букв.

Человеческое зрение также характеризуется повышенной чувствительностью к зеленому цвету. Этот факт также учитывается при разработке дебайеризации 5x5, поэтому при восстановлении черно-белых контрастов зеленым пикселям придается особое значение, в результате чего изображения получаются более естественными для восприятия.

Наконец, человеческий глаз чрезвычайно восприимчив к цветовому шуму и сразу замечает отдельные пиксели с цветовыми ошибками. По этой причине в алгоритмах особое внимание уделено выбору метода восстановления цветов, который характеризуется особенно низким уровнем цветового шума.

Сглаживание цветов

Цветовые ошибки, особенно в области резких границ, – распространенное побочное явление, возникающее при применении менее эффективных алгоритмов дебайеризации. Этот недостаток может особенно выделяться на изображении (рис. 4).

При использовании дебайеризации 5x5 искажения цветов, возникающие в результате описанных причин, анализируются и корректируются для всех потенциальных пространственных частот ниже теоретического предела. Этот теоретический предел, взятый из теории цифровых систем, называется частотой Найквиста.

На рис. 5 представлено то же изображение, но после обработки современным алгоритмом: цветовые искажения устранены почти полностью.

Шумоподавление

Чтобы из необработанного изображения в формате RAW получить готовое цветное изображение, обычно выполняется множество вычислительных операций. Каждая из них может привести к усилению или уменьшению шума на основе законов размножения ошибок. В большинстве случаев шум усиливается, а не уменьшается. Особенно важную роль в этом отношении играет последовательность математических операций, в результате выполнения которых шум может усиливаться в геометрической прогрессии. В особенно неудачных случаях общий шум возрастает до неприемлемого уровня.

Инновационные технологии обеспечивают параллельное выполнение этих операций вместо последовательного, что позволяет избежать нарастания шума. В архитектуре отдельных вычислительных операций значительный приоритет отводится поддержанию низкого уровня шума. Алгоритм, таким образом, гарантирует, что уровень шума после обработки изображения всегда будет максимально низким.

Помимо этого, в современных решениях предусмотрена возможность выбора активной фильтрации шума с настраиваемыми параметрами. Поскольку фильтрация шума в промышленной среде ориентирована на быструю съемку последовательности отдельных изображений, она применяется исключительно к отдельным изображениям, позволяя избежать взаимного влияния, проявляющегося при анализе серии изображений. Эффективность фильтрации шума в значительной мере зависит от объема входных данных. Чем крупнее область для фильтрации шума, тем выше потенциальные результаты – несмотря на возрастающую при этом вычислительную нагрузку.

В качестве разумного компромисса для эффективной дебайеризации выбирают фильтрацию шума 5x5. Она особенно эффективна в случае высококачественных светочувствительных сенсоров, поскольку они изначально разработаны с целью обеспечения уровня шума от низкого до умеренного. В то же время, это позволяет снизить общую стоимость и повысить КПД системы.

Увеличенная резкость

Как показано выше, обычные алгоритмы дебайеризации часто не в состоянии воспроизвести тонкие, четкие границы с высокой резкостью. Инновационные же алгоритмы, напротив, обеспечивают исключительное качество воспроизведения границ черно-белых объектов.

На изображении в высоком разрешении цветные камеры с шаблоном Байера часто не только искаженно воспроизводят цвета, как описано выше, но и демонстрируют проблемы с резкостью изображения. Простому алгоритму линейной интерполяции свойственны фундаментальные ограничения. Современная дебайеризация адаптирует алгоритм линейной интерполяции с учетом объектов на изображении. Это позволяет добиться более резких изображений, аналогичных изображениям, получаемым монохромными камерами.

Таким образом, при использовании эффективной дебайеризации изображения всегда будут резкими. В особенно сложных условиях съемки также можно задать собственный коэффициент резкости. С его помощью можно дополнительно увеличить резкость определенной области изображения, что позволяет компенсировать недостатки слабой оптической системы. Благодаря всем этим функциям резкость изображения всегда будет соответствовать перцептивным характеристикам человеческого глаза. Увеличение резкости в результате применения новых алгоритмов может вызвать исключительно умеренное повышение уровня серого шума, но не затрагивает цветовой шум. На рис. 6 и 7 представлены изображения для сравнения.

Высокая резкость изображения является основным или даже критическим фактором во множестве областей. Это, в частности, относится к ситуациям, когда цветная камера должна правильно воспроизводить цифры или буквы, как, например, при распознавании номерного знака транспортного средства системой контроля дорожного движения или считывании штрих-кодов в логистике либо розничной торговле.

Безупречно четкое изображение в конечном итоге позволяет решать необходимые задачи обработки при более низком разрешении, а значит, требуется сенсор с меньшим количеством пикселей. Это, в свою очередь, может означать возможность выбора камеры с более высокой частотой кадров либо в целом приобретения более доступного по цене оборудования – от осветительной установки и камеры до вычислительных мощностей.

Вычислительные ресурсы

При разработке новых алгоритмов особое внимание уделяется низкому ресурсопотреблению во всех аспектах. Все вычислительные операции выполняются на базе программируемой вентильной матрицы (FPGA), на что потребляются минимальные ресурсы внутренней памяти FPGA и требуется крайне незначительное количество вычислительных операций. В результате исключаются дополнительные расходы, например на приобретение более крупной FPGA или других вычислительных средств.

Для обеспечения отличного качества изображения важно, чтобы операции обработки изображения осуществлялись в надлежащем порядке. Дебайеризация лежит в основе этого процесса, поэтому всем, кто задумывается о выполнении дебайеризации на стороне ПК, также необходимо обеспечить правильность выполнения других предшествующих и последующих шагов обработки изображения.

По этой причине имеет смысл реализовать современный алгоритм непосредственно на программируемой вентильной матрице камеры, что полностью совместимо с режимом реального времени, занимает правильное место в процессе обработки изображений и безупречно в него вписывается. Время задержки при этом ничтожно мало, все ресурсы подключенного ПК могут быть направлены на работу программного обеспечения для обработки изображений, при этом изображения высокого качества будут поступать непосредственно от камеры.

Опубликовано: Журнал "Системы безопасности" #4, 2016

Посещений: 2684

   Автор

Йорг КунцеРуководитель команды предварительной разработки компании Basler AG

Всего статей:  1

В рубрику "Видеонаблюдение (CCTV)" | К списку рубрик   |   К списку авторов   |   К списку публикаций

Добавить комментарий

rss