Применение гибридного подхода, основанного на комбинации алгоритмических методов и машинного обучения, для определения лексических повторов, тавтологий и плеоназмов

Abstract

Цель работы – разработка гибридного подхода к автоматическому обнаружению лексических повторов, тавтологий и плеоназмов в русскоязычных текстах и экспериментальное обоснование его эффективности по сравнению с универсальными моделями. В процессе работы выполнен анализ существующих методов обнаружения речевых избыточностей, выявлены их ограничения. Разработаны алгоритм выявления лексических повторов на основе лемматизации, модель обнаружения тавтологий с использованием character-level CNN и модель выявления плеоназмов на основе семантической близости с использованием SBERT. На основе этих компонентов построена каскадная гибридная система, объединяющая алгоритмические и нейросетевые методы. Проведён экспериментальный сравнительный анализ единой мультиклассовой модели, бинарных классификаторов и предложенной гибридной архитектуры. Выполнена аугментация датасета плеоназмов с использованием синонимического словаря WikiWordNet. Система разработана на языке Python с использованием фреймворка PyTorch, библиотек senten