Влияние состава наблюдений окружающей среды в задаче приобретения навыков передвижения в трехмерном пространстве при использовании алгоритмов обучения с подкреп

Abstract

В работе исследуется влияние состава наблюдений окружающей среды на процесс обучения «двуногого» мехатронного объекта навыкам передвижения в трёхмерном пространстве. Исследования проводятся всреде игрового движка Unity с использованием пакета ML-Agents. В качестве алгоритма обучения был выбран SoftActor Critic, как один из наиболее эффективных современных алгоритмов обучения с подкреплением (RL),показавший наибольшую эффективность на наборе аналогичных задач. Показано, что состав наблюденийможет радикально менять скорость обучения и даже замедлять процесс обучения при наличии «избыточных»данных.