Исследование эффективности использования свойства нейропластичности в свёрточных сетях

Abstract

При обучении нейронных сетей часто можно столкнуться со следующими проблемами: малая обучающая выборка, долгое время обучения нейронной сети, проблема исчезающего градиента. Эти проблемы долгое время были препятствием для обучения действительно глубоких нейронных сетей. Для решения поставленных проблем получил развитие метод переноса знаний, основанный на свойстве нейропластичности нейронных сетей. Идея свойства нейропластичности в свёрточных сетях состоит в том, чтобы на хорошо обученную сеть подать новый класс изображений, на которых сеть не обучалась раньше, и продолжить обучение сети с новым набором данных, таким образом веса в верхних слоях сети изменятся незначительно, а в глубоких слоях будут активно изменяться веса. В статье свойство нейропластичности исследовано на примере решения задачи классификации маркированных клеток крови. Для исследования обучаются несколько моделей нейронных сетей, с использованием метода нормализованной инициализации весов, метода переноса знаний и метода смешанной инициализации весов. С увеличением количества слоёв, в которых веса инициализируются с использованием метода переноса знаний, точность моделей увеличивается. Лучший результат показала модель, у которой все слои были инициализированы с использованием свойства нейропластичности.