Метод создания анимируемых аватаров с использованием нейронных полей излучения и двухмерного нейронного рендеринга

Abstract

Представлен подход к созданию анимируемых аватаров. Метод комбинирует в себе использование двух технологий – нейронных полей излучения, обусловленных априорной информацией, полученной из параметрической модели FLAME, для неявного представления модели головы человека в трехмерном пространстве и 2D нейронного рендеринга для синтеза новых ракурсов на основе обученного представления. В отличие от существующих подходов, которые требуют наличие 3D-сканов или последовательности большого числа изображений человека с разных ракурсов, предложенный подход использует синтетический набор данных, полученный на основе параметрической модели FLAME. Разработанный подход позволяет синтезировать вид человека с новых ракурсов с возможностью изменять выражение лица.