Сравнительный анализ решений проблемы затухающих градиентов в трансформерных архитектурах: Layer Norm и Neural ODE подходы

Abstract

В работе проведен сравнительный анализ между способами борьбы с затухающими градиентами в нейросетевых моделях на примере задачи NLP. Как правило, для решения задачи затухающих градиентов используются skip connections в связке с нормировкой слоев, но, с недавним развитием Neural ODE, идеи рассмотрения задач как дифференциальных уравнений и их решения находят свое применение в обработке естественного языка. Были проведены эксперименты, в ходе которых выяснилось, что ODE подход показывает лучшие метрики обучения по сравнению со стандартным residual connections, используемым в построение трансформерных архитектур.