Доменная адаптация больших языковых моделей с применением методов параметрически эффективного дообучения

Abstract

В данной статье был рассмотрен подход к доменнойадаптации больших языковых моделей (LLM) сиспользованием метода Rs-LoRA. Проведенные экспериментыпродемонстрировали эффективность данного метода в задачахадаптации модели к узкоспециализированным доменам, такимкак проектирование информационных систем.Благодаря использованию квантованных весов иограничению ранга адаптационных матриц, Rs-LoRA позволяетзначительно сократить вычислительные и энергетическиезатраты, что делает его применимым в условияхограниченных ресурсов.