Обучение агентов на основе параметрической настройки их алгоритмов управления распределенными вычислениями

Abstract

Рассматривается актуальная проблема машинного обучения в системе мультиагентного управления распределенными вычислениями. Предлагается новый подход к обучению агентов управления потоками заданий масштабируемых приложений в гетерогенной распределенной вычислительной среде, в которой высокопроизводительные кластеры являются основными ее компонентами. Приложения поддерживают многовариантные расчеты, а их задания выполняются в среде виртуальных машин, организуемой с помощью специализированных инструментальных средств. Предложенный подход в отличие от известных базируется на интегрированном применении методов классификации заданий и параметрической настройки алгоритмов функционирования агентов. В процессе обучения агентов используются экспертные знания администраторов узлов вычислительной среды. Особенности и преимущества предложенного подхода демонстрируются на примере решения сложной практической задачи исследования развития топливно-энергетического комплекса России с позиции энергетической безопасности. We address important problem of machine learning in a multi-agent system for distributed computing management. We propose a new approach to the agent learning in the system for managing job flows of scalable applications in a heterogeneous distributed computing environment, which includes high-performance clusters as its main components. We manage parameter sweep applications. Their jobs are executed in a virtual machine environment that is implemented using specialized tools. In contrast to the known approaches, our approach is based on the integrated use of methods for job classification and parameter adjustment of algorithms for agent functioning. An elicitation of necessary knowledge for parameter adjustment is carried out by simulation of the environment. During the learning of agents, the expert knowledge of node administrators of the computing environment is used. Features and advantages of the proposed approach are demonstrated by an example of solving the complex practical task that related to studying Russia energy development directions.