Исследование влияния размеров рецептивного поля на результат обучения свёрточных нейронных сетей

Abstract

Свёрточные нейронные сети (СНС) успешно применяются для решения многих задач, таких как распознавание цифр и объектов. В данной работе мы изучаем размер рецептивного поля глубоких свёрточных нейронных сетей, в частности, проверяем идею «избыточного» рецептивного поля. Мы проводим ряд экспериментов на двух распространенных моделях СНС — VGG16 и ResNet18 — с целью изучения влияния размера рецептивного поля на время обучения, точность и производительность СНС. Мы проводим эксперименты с использованием фреймворка MakiFlow на наборе данных CALTECH256. Результаты экспериментов показали, что оптимизация нейронных сетей путём уменьшения размера рецептивного поля позволяет добиться ускорения обучения сети на 5-7% с сохранением точности работы сети. Convolutional neural networks (CNNs) have been successfully applied to many tasks such as digit and object recognition. In this paper we study the size of receptive field of deep convolutional neural networks, par c lar, we check he dea f a “red da ” recep ve field. We run a set of experiments on two common CNN models — VGG16 and ResNet18 — in order to explore the influence of receptive field size on CNN's training time, accuracy and performance. We run experiments using MakiFlow framework on CALTECH256 dataset. The experiments' results show that optimization of neural networks (NNs) by reducing the size of receptive field allows to red ce he NN’s training time by 5-7% while maintaining the accuracy of the network.