Формирование трехмерной модели составного объекта по изображениям нескольких проекций на основе иерархического трансформера

Abstract

В данной работе предложен метод формирования трёхмерной модели составного объекта на основе изображений нескольких проекций с использованием иерархического трансформера. Подход реализует многоуровневую обработку данных: на первом этапе начальные двумерные проекции анализируются с применением сверточных нейронных сетей для выделения локальных признаков, а затем их пространственные взаимосвязи уточняются посредством механизмов внимания в трансформерной архитектуре. Иерархическая структура модели позволяет учитывать как локальные, так и глобальные зависимости между компонентами объекта, что способствует более точной реконструкции трёхмерной геометрии.