Алгоритмы построения многокадрового сверхразрешения изображений в условиях аппликативных помех на основе глубоких нейронных сетей

Abstract

Рассматриваются алгоритмы построения многокадрового сверхразрешения, позволяющие восстанавливать изображения с высоким разрешением за счет накопления последовательности изображений с низким разрешением в условиях аппликативных помех. Воздействие аппликативных помех проявляется в появлении локальных участков аномальных наблюдений на каждом изображении и также является фактором понижения разрешения. Решению данной задачи до настоящего времени уделялось недостаточно внимания, при этом перспективным подходом для обработки изображений, включая построение многокадрового сверхразрешения, является использование глубоких нейронных сетей. В работе рассмотрены существующие подходы к решению данной задачи и предложен новый подход, основанный на использовании нескольких свёрточных нейронных сетей. Особенностью рассматриваемого подхода и реализуемых на его основе алгоритмов является выполнение итеративной обработки входной последовательности изображений с низким разрешением с применением нейронных сетей на разных этапах обработки, включая регистрацию изображений низкого разрешения, сегментацию и выявление участков, пораженных аппликативными помехами, а также преобразования, направленные непосредственно на повышение разрешения. Данный подход позволяет комбинировать сильные стороны существующих аналогов и устранить их основные недостатки, связанные с необходимостью использования приближенных математических моделей данных, которые требуются для синтеза алгоритмов обработки изображений в рамках статистической теории решений. Для обновления текущей оценки изображения высокого разрешения предложена специальная свёрточная нейронная сеть, организованная в виде направленного ациклического графа. Проведены экспериментальные исследования, показавшие работоспособность предложенного алгоритма и его преимущество по точности восстановления изображения с высоким разрешением по сравнению с альтернативными вариантами решения задачи.