Сравнение алгоритмов обучения с подкреплением в задаче приобретения навыков передвижения в трехмерном пространстве

Abstract

В работе выполняется сравнение современных методов обучения с подкреплением на примере решения задачи приобретения агентом навыков передвижения в трёхмерном пространстве. Сравнение производится в симуляторе Unity с использованием пакета ml-agents. В качестве сравниваемых алгоритмов выступают: SAC, PPO, MA-POCA. Они используются для обучения навыкам передвижения нескольких моделей агентов: 3DBall, Crawler, Walker и авторскойSimplestBipedal. Результаты экспериментов говорят о преимуществах алгоритма Soft Actor Critic, что делает егоболее перспективным для использования в реальных средах.