Расширение контекста больших языковых моделей с использованием линейной интерполяции позиционных эмбеддингов

Abstract

Исследуется проблема ограниченного контекста в больших языковых моделях (БЯМ) и предлагается новый метод для увеличения размера контекста без необходимости переобучения модели. Предложенный метод основан на линейной интерполяции позиционных эмбеддингов, позволяя значительно увеличить размер контекста БЯМ. Это в свою очередь имеет большое прикладное значение для обработки длинных документов и разработки приложений, требующих продолжительного взаимодействия с БЯМ. В ходе исследования была использована модель ruGPT-3.5 с 13 миллиардами параметров, обученная с контекстом 2048 токенов. С помощью линейной интерполяции позиционных эмбеддингов удалось успешно расширить контекст модели до 8192 токенов. Это значительное увеличение контекста открывает новые возможности для обработки длинных текстовых данных и повышения производительности чат-ботов и других приложений, работающих с БЯМ.