Построение графа последовательности текстовых единиц для создания системы генерации предложений

Abstract

Статья посвящена разработке системы анализа текстовых данных. Рассмотрен подход представления текста из постов отдельно взятой страницы в виде графа ключевых словосочетаний, при помощи которого в последствии будут строиться цепочки слов, схожие по стилистике написания с текстами автора. В рамках работы реализованы: сбор, фильтрация и обработка данных с использованием технологии Big Data. The article is devoted to the development of a text data analysis system. The approaches to the presentation of text from the posts of a single page in the form of a dictionary of phrases are considered. Within the framework of the work, data collection, filtering and processing using Big Data technologies were implemented.