Многозадачное дообучение для генерации ключевых слов к научным текстам

Abstract

В работе исследуется эффективность использования заголовков научных текстов в качестве дополнительной информации при обучении модели генерации списка ключевых слов. Описывается подход к многозадачному дообучению (multi-task fine-tuning) модели BART с помощью управляющих кодов. Показано, что данный подход позволяет улучшить качество BART, обученной для решения только одной задачи. Кроме того, в ряде случаев представленная многозадачная модель превосходит другие современные модели извлечения ключевых слов.