Разработка метода терагерцового интеллектуального видеонаблюдения на основе семантического слияния терагерцового и трёхмерного видеоизображений

Abstract

Терагерцовое видеонаблюдение открывает новые возможности в сфере обеспечения безопасности в общественных местах, поскольку позволяет обнаруживать скрытое оружие и другие опасные предметы и тем самым предотвращать их использование. Хотя первое поколение терагерцовых систем видеонаблюдения уже создано и доступно на рынке систем обеспечения безопасности, оно до сих пор не нашло широкого применения. Главной причиной этого является то, что существующие методы анализа терагерцовых изображений не способны обеспечить скрытое и полностью автоматическое распознавание оружия и опасных предметов и могут использоваться только под управлением специально обученного оператора. В результате, терагерцовое видеонаблюдение оказывается более затратным и менее эффективным, чем традиционные методы организации периметра безопасности и ручного досмотра посетителей. В статье рассматривается проблема создания метода автоматического анализа терагерцовых видеоизображений. В качестве основы для такого метода предложено использовать принцип семантического слияния видеоизображений, полученных с помощью разных физических принципов, идея которого заключается в том, что смысловое содержание одного видеоизображения используется для анализа другого видеоизображения. Например, информация о положении человека в пространстве, координатах его рук, ног и туловища может быть использована для анализа и интерпретации цветовых областей, наблюдаемых на терагерцовом изображении. Для реализации принципа семантического слияния видеоизображений созданы средства объектно-ориентированного логического программирования, включающие специальные классы для сбора, обработки и анализа видеоизображений в видимом, инфракрасном и терагерцовом диапазонах, а также трёхмерных видеоизображений, полученных с помощью времяпролётных камер. The terahertz video surveillance opens up new unique opportunities in the field of security in public places, as it allows to detect and thus to prevent usage of hidden weapons and other dangerous items. Although the first generation of terahertz video surveillance systems has already been created and is available on the security systems market, it has not yet found wide application. The main reason for this is in that the existing methods for analyzing terahertz images are not capable of providing hidden and fully automatic recognition of weapons and dangerous objects and can only be used under the control of a specially trained operator. As a result, the terahertz video surveillance appears to be more expensive and less efficient in comparison with the standard approach based on the organizing security perimeters and manual inspection of the visitors. In the paper, the problem of the development of a method of automatic analysis of the terahertz video images is considered. As a basis for this method it is proposed to use the semantic fusion of video images obtained using different physical principles, the idea of which is in that the semantic content of one video image is used to control the processing and analysis of another video image. For example, the information about 3D coordinates of a body, arms, and legs of a person can be used for analysis and proper interpretation of color areas observed on a terahertz video image. Special means of the object-oriented logic programming are developed for the implementation of the semantic fusion of the video data, including special built-in classes of the Actor Prolog logic language for acquisition, processing, and analysis of video data in the visible, infrared, and terahertz ranges as well as 3D video data collected using a time of-flight camera.