Исследование алгоритмов обработки текстовых данных в социальных сетях

Abstract

В работе проводится исследование различных алгоритмов кластеризации большого объёма текстовых данных. Был проведён анализ существующих способов реализации и выбраны алгоритмы Word2Vec и GloVe. Исходные текстовые данные для тестирования алгоритмов были получены путём сбора записей из открытых сообществ ВКонтакте. Полученные результаты показали, что, применение данных алгоритмов позволяет оценить частоту употребления и значимость отдельных слов относительно контекста исследуемого сообщества. Также в работе было произведено сравнение результатов применения алгоритмов и сделан вывод об их эффективности. In this paper we investigate various clustering algorithms for a large amount of text data. An analysis of the existing implementation methods was carried out and the algorithms Word2Vec and GloVe were selected. The initial textual data for testing the algorithms were obtained by collecting records from open VKontakte communities. The results showed that the use of these algorithms allows us to assess the frequency of use and the significance of individual words relative to the context of the studied community. The results of the algorithms`applications were compared and the conclusion about their efficiency was made in the work as well.