Аппаратно-программная инфраструктура для реализации учебных проектов по тематике обработки потоков данных в высоконагруженных информационных системах

Abstract

В работе анализируется современное состояние аппаратно-программных средств обработки интенсивных потоков данных в реальном времени. Рассмотрены проблемы построения высокопроизводительного вычислительного комплекса обработки потоков данных на основе технологии IBM BigInsights. Демонстрируются возможности программного пакета Apache Spark для обработки временных рядов. Приведены примеры получения некоторых статистических характеристик временных рядов в реальном времени.