Отрывок: В исследовании намеренно не применяются вспомогательные технологии, оптимизирующие трафик, например, кэширование блоков на рабочих процессах. В качестве модели оборудования в вычислительных экспериментах применяется кластерная система коллективного использования «Сергей Королев» С...
Название : Применение модели bag-of-tasks с централизованным хранилищем для распределенной сортировки большого массива данных
Другие названия : Using the bag-of-tasks model with centralized storage for distributed sorting of large data array
Авторы/Редакторы : Востокин, С.В.
Бобылева, И.В.
Vostokin, S.V.
Bobyleva, I.V.
Дата публикации : Май-2019
Издательство : Новая техника
Библиографическое описание : Востокин С.В. Применение модели bag-of-tasks с централизованным хранилищем для распределенной сортировки большого массива данных / Востокин С.В., Бобылева И.В. // Сборник трудов ИТНТ-2019 [Текст]: V междунар. конф. и молодеж. шк. "Информ. технологии и нанотехнологии": 21-24 мая: в 4 т. / Самар. нац.-исслед. ун-т им. С. П. Королева (Самар. ун-т), Ин-т систем. обраб. изобр. РАН-фил. ФНИЦ "Кристаллография и фотоника" РАН; [под ред. В.А. Фурсова]. - Самара: Новая техника, 2019. – Т. 4: Науки о данных. - 2019. - С. 93-96.
Аннотация : В работе обсуждается применение модели программирования «портфель задач» (bag of tasks) для сортировки большого массива данных. Выбор объекта исследования определяется общностью его алгоритмической структуры с различными задачами из области анализа данных, включая корреляционный анализ, частотный анализ и индексацию данных. Алгоритм сортировки представляет собой поэтапную сортировку блоков массива, а затем их попарное слияние. В конце сортировки данные в блоках образуют упорядоченную последовательность. Порядок сортировки и слияния задается статическим ориентированным ациклическим графом. Алгоритм сортировки реализован с использованием библиотеки MPI на языке C++ с централизованным хранением блоков данных в управляющем процессе. Особенностью реализации является передача блоков между управляющим и рабочим MPI-процессами в каждой задаче. Проведенное экспериментальное исследование алгоритма подтвердило гипотезу о том, что интенсивный обмен данными, вызванный централизованной природой модели «портфель задач», не приводит к потере производительности. Применение рассмотренной модели обработки данных позволяет снизить технические требования к аппаратному и программному обеспечению. The article discusses the application of the bag of tasks programming model for the problem of sorting a large data array. The choice is determined by the generality of its algorithmic structure with various problems from the field of data analysis including correlation analysis, frequency analysis, and data indexation. The sorting algorithm is a block-by-block sorting, followed by the pairwise merging of the blocks. At the end of the sorting, the data in the blocks form an ordered sequence. The order of sorting and merging tasks is set by a static directed acyclic graph. The sorting algorithm is implemented using MPI library in C ++ language with centralized storing of data blocks on the manager process. A feature of the implementation is the transfer of blocks between the manager and the worker MPI processes for each task. Experimental study confirmed the hypothesis that the intensive data exchange resulting from the centralized nature of the bag of task model does not lead to a loss of performance. The data processing model makes it possible to weaken the technical requirements for the software and hardware.
URI (Унифицированный идентификатор ресурса) : http://repo.ssau.ru/handle/Informacionnye-tehnologii-i-nanotehnologii/Primenenie-modeli-bagoftasks-s-centralizovannym-hranilishem-dlya-raspredelennoi-sortirovki-bolshogo-massiva-dannyh-75226
Другие идентификаторы : Dspace\SGAU\20190417\75226
Располагается в коллекциях: Информационные технологии и нанотехнологии

Файлы этого ресурса:
Файл Описание Размер Формат  
paper12.pdfОсновная статья336.66 kBAdobe PDFПросмотреть/Открыть



Все ресурсы в архиве электронных ресурсов защищены авторским правом, все права сохранены.