Cравнительный анализ тематического дрейфа в моделях LLaMA-3, дообученных на синтетических диалоговых данных

Abstract

В работе исследуется влияние методологии генерации синтетических обучающих данных на тематический дрейф в диалогах больших языковых моделей. Сравниваются две методологии генерации: пошаговый обмен репликами между двумя моделями (UltraChat) и одномоментная генерация всей структуры диалога с жестким ролевым шаблоном (DiaSynth). Оценка дообученной LLaMA-3-8B с помощью SBERT выявила идентичную динамику потери контекста: значения косинусного сходства составили 0,51 и 0,49 на 8-м шаге. Результаты подтверждают, что методология DiaSynth обеспечивает сопоставимую стабильность темы при меньших затратах по сравнению с ресурсозатратным методом пошагового взаимодействия моделей.