Применение метода главных компонент для выявления семантических различий и анализа изменения положения в пространстве при анализе информационного контента сетевых сообществ

Abstract

В работе мы предлагаем подход к анализу социальных групп и их положения относительно друг друга на основе выявления семантических различий в текстах, представленных в виде частотных словарей. Исходные текстовые данные мы получили путём сбора записей тематических интернет-сообществ. Для сбора записей мы реализовали специализированный программный модуль, позволяющий анализировать и загружать как посты, так и комментарии из интересующих открытых сообществ социальной сети ВКонтакте. Для составления частотного словаря, мы разработали, алгоритм, который учитывает особенности данных, собираемых из социальных сетей. В статье мы предлагаем подход, основанный на использовании методов снижения размерности пространств признаков, для выявления ключевых слов на основе анализа частоты их употребления. Алгоритм, который мы представили, использует метод главных компонент. В результате работы мы показали, что, используя коэффициенты полученного линейного преобразования можно оценить значимость слов. С использованием полученных оценок, мы не только смогли выявить не только ключевые слова, но и составить семантические различия в сообществах социальных сетей, а так же построить графики изменения положения этих групп в пространстве относительно друг друга.