Нейросетевая реконструкция видеопотока в дифракционных оптических системах массового производства

Abstract

Возможность существенно снизить массу и стоимость систем технического зрения привела к появлению большого числа работ, посвященных разработке новых оптических схем на основе дифракционной оптики и новых подходов к реконструкции получаемых изображений. Получаемые системы демонстрируют достаточное для прикладных систем технического зрения качество изображений. Однако при создании таких прикладных систем возможны источники дополнительных потерь качества получаемого видеопотока. В настоящей работе исследовано влияние на итоговое качество реконструируемого видеопотока таких факторов, как ограничения технологии массового производства дифракционной оптики, артефактов сжатия видеопотока с потерями, а также особенностей нейросетевого подхода к реконструкции. Предложена сквозная нейросетевая технология реконструкции изображений, позволяющая компенсировать дополнительные факторы потери качества и получить итоговый видеопоток с качеством, достаточным для решения прикладных задач технического зрения.

Many recent studies have focused on developing image reconstruction algorithms in optical systems based on flat optics. These studies demonstrate the feasibility of applying a combination of flat optics and the reconstruction algorithms in real vision systems. However, additional causes of quality loss have been encountered in the development of such systems. This study investigates the influence on the reconstructed image quality of such factors as limitations of mass production technology for diffractive optics, lossy video stream compression artifacts, and specificities of a neural network approach to image reconstruction. The paper offers an end-to-end deep learning-based image reconstruction framework to compensate for the additional factors of quality losing. It provides the image reconstruction quality sufficient for applied vision systems.