Реализация частотного анализа микроблога Twitter в гибридном облаке на базе Binder, платформы Everest и сервиса виртуальных рабочих столов Самарского университета

Abstract

В работе предлагается архитектура распределенного приложения обработки данных в гибридном облачном окружении. Производительность приложения исследована на примере распределенного алгоритма определения частоты использования слов в сообщениях англоязычного микроблога Twitter. Продемонстрирована возможность технически простой и эффективной с точки зрения производительности агрегации вычислительных ресурсов с использованием технологии многозадачных вычислений для обработки данных в гибридных облачных окружениях. The paper proposes the architecture of a distributed data processing application in a hybrid cloud environment. The application was studied using a distributed algorithm for determining the frequency of words in messages of English-language microblogs published on Twitter. The possibility of aggregating computing resources using many-task computing technology for data processing in hybrid cloud environments is shown. This architecture has proven to be technically simple and efficient in terms of performance.