Реализация регуляризованного алгоритма Качмажа для обучения нейронных сетей

Abstract

Объектом исследования является процесс обучения нейронных сетей и применение итерационных проекционных методов для настройки параметров моделей. Объектом изучения являются регуляризованный алгоритм Качмажа, его адаптация к задаче обучения нейронной сети и особенности сравнительного анализа с классическими градиентными методами оптимизации. Целью выпускной квалификационной работы является реализация регуляризованного алгоритма Качмажа для обучения нейронных сетей и исследование егоэффективности при решении задач машинного обучения. В результате выполнения выпускной квалификационной работы разработан программный модуль на языке Python, реализующий нейросетевую модель с фиксированным скрытым слоем и обучаемым линейным выходным слоем. В составе программного модуля реализован класс FrozenFeatureNet, формирующий скрытое нелинейное представление входных данных, и класс RegularizedKaczmarz, выполняющий регуляризованное строчно-ориентированное обучение выходного слоя. Для сравнительного анализа использованы стандартн