Алгоритмы автоматической идентификации объектов на разнородных изображениях и совмещения изображений

Abstract

Актуальность формирования 3D изображений в системах технического зрения авиационного применения обусловлена необходимостью решения многих задач вертолетной и беспилотной авиацией. К ним относятся задачи монтирования с помощью вертолета различных технических установок, спасение живой силы в условиях сложного рельефа, посадка вертолета на незнакомые площадки. В предлагаемой работе исследуется возможность применения двух альтернативных методов для формирования 3D изображений подстилающей поверхности из последовательности 2D изображений, полученных с помощью стереопары, расположенной на борту летательного аппарата. Первый метод основан на распространении алгоритма совмещения плоских изображений с помощью матрицы гомографии на трехмерный случай. Математический аппарат, разработанный для случая плоской гомографии с произвольным числом ключевых точек обобщен на трехмерный случай. Матрица гомографии учитывает все виды деформаций облаков точек (сдвиг, поворот, изменение масштаба) и позволяет получать конечное решение за один шаг. Второй метод совмещения облаков точек основан на использовании итеративной процедуры последовательного уточнения преобразования одного облака точек к другому. На каждой итерации находятся ключевые точки с помощью алгоритма FAST, соответствие между ними устанавливается с использованием алгоритма неплотного оптического потока, а оптимальная оценка матрицы вращений находится в соответствии с алгоритмом Кабша. The relevance of 3D images formation in machine vision systems and aviation applications is due to the necessity to solve many problems in the helicopter and unmanned aircraft. These include the tasks of mounting various technical installations using a helicopter, saving people in difficult terrain, landing a helicopter on unfamiliar sites. The proposed work explores the possibility of using two alternative methods for the formation of 3D images of the underlying surface from a sequence of 2D images, obtained from on board aircraft stereo pair. The first method based on the extension of the algorithm for 2D images superimposition with the help of the homography matrix for the three-dimensional case. The mathematical apparatus developed for the case of plane homography with an arbitrary number of key points is generalized to the three-dimensional case. The homography matrix takes into account all kinds of cloud deformations (shift, rotation, scale change) and allows to obtain the final solution in one step. The second method of points cloud combining is based on using an iterative procedure to sequentially refine the transformation of one point cloud to another. At each iteration we found key points using the FAST algorithm , the correspondence between them is established by using the algorithm of a non-dense optical flow, and the optimal estimation of the rotation matrix is in accordance with the Kabsh algorithm.