Разработка и исследование алгоритма посменного инкрементного обучения нейронной сети

Abstract

В работе показывается актуальность разработки инкрементных методов и алгоритмов обучения нейронной сети. Представлены семейства техник инкрементного обучения. Проведена оценка возможности применения машины экстремального обучения как инкрементного обучения. Эксперименты показывают возможность использования машины экстремального обучения как инкрементного обучения, однако при увеличении числа обучающих примеров нейронная сеть становится непригодна для дальнейшего обучения. Для решения данной проблемы предложен алгоритм инкрементного обучения нейронной сети, основанный на поочередном применении машины экстремального обучения для корректировки весов только выходного слоя сети (состояние функционирования) и метода обратного распространения ошибки (глубокого обучения) для корректировки всех весов сети (состояние сна). Полагается, что в ходе состояния функционирования нейронная сеть выдает результаты или учится на новых задачах, а в состоянии сна оптимизирует свои весовые коэффициенты. Особенностью предложенного алгоритма является его возможность адаптироваться в реальном масштабе времени под изменение внешних условий на этапе функционирования. На примере решения задачи аппроксимации показана эффективность предложенного алгоритма. Представлены результаты аппроксимации после выполнения каждого шага алгоритма. Приведено сравнение значений среднеквадратической ошибки при использовании машины экстремального обучения как инкрементного обучения и разработанного алгоритма посменного инкрементного обучения нейронной сети.