Мультиагентная модель распределения ресурсов высокопроизводительной вычислительной среды в процессе обработки потоков заданий

Abstract

В настоящее время задача эффективного распределения вычислительной мощности ресурсов высокопроизводительной среды в процессе решения задач конечных пользователей с целью улучшения показателей использования ресурсов (время, стоимость, надежность) по-прежнему остается актуальной. Она характеризуется высокой вычислительной сложностью. Поэтому на практике управление ресурсами зачастую осуществляется с использованием эвристических подходов, основанных на знаниях. Одним из таких подходов является применение мультиагентных технологий. В связи с этим в докладе представлена мультиагентная модель распределения ресурсов высокопроизводительной вычислительной среды при обработке потоков заданий, которые генерируются распределенными пакетами прикладных программ. Среда интегрирует ресурсы высокопроизводительных кластеров суперкомпьютерного центра коллективного доступа. В статье проведен сравнительный анализ эффективности управления вычислениями с помощью традиционных метапланировщиков (GridWay и Condor DAGMan) и предложенной мультиагентной системой. Экспериментальные результаты показывают преимущества управления мультиагентной системой по ускорению и эффективности вычислений, загрузке процессоров и ее балансировке. Nowadays, the problem of effective allocating resources of a high-performance computing environment to achieve their efficient use and improve criteria (time, cost, reliability, etc.) of solving end-user problems is still very relevant. It is characterized by high computational complexity. Therefore, in practice, resource allocation is often implemented using knowledge-based heuristic approaches. One such approach is applying a multi-agent technology. In this regard, we represent a multi-agent model of allocating resources of a high- performance computing environment in the processing of job flows that are generated by the distributed applied software packages. The environment integrates the resources of high- performance clusters of the public access supercomputer center. We provide a comparative analysis of effectiveness for computation management with traditional meta-schedulers (GridWay and Condor DAGMan) and our multi-agent system. Experimental results show advantages of management under the multi-agent system in speedup and efficiency of computations, processor load, and its balancing.