Исследование методов машинного обучения и разработка модифицированного алгоритма рубрицирования текстов

Abstract

Объектом исследования являются методы машинного обучения в задаче рубрицирования текстов и методы предварительной обработки текстов. Цель данной работы – разработать веб-приложение для рубрицирования текстов на основе метода опорных векторов, многослойного персептрона и гибридного алгоритма по принципу ансамбля методов, а также проанализировать и сравнить результаты, полученные при реализации данных методов машинного обучения, при различных настройках параметров и различных методах предварительной обработки входного текста. В процессе работы было спроектировано и реализовано веб- приложение, позволяющее пользователю производить предварительную обработку входного обучающего набора текста и обучение рубрикатора при различных настройках параметров. Система на каждой эпохе (итерации) обучения производит оценку качества обучения на отдельной тестовой выборке. Пользователь может сохранить обученный рубрикатор на сервере и протестировать его вручную, вводя текст и определяя, к какой рубрике (тематике) он относится.