Квантизация весов обученной нейронной сети методом максимизации корреляции

Abstract

Для уменьшения требуемой памяти для хранения весов нейронной сети были применены различные методы квантизации, основанные на максимизации корреляции между исходными и дискретизованными значениями весов. Квантизация проводилась на предварительно обученных сетях (post learning). Первый метод предполагает разбиение распределений весов на линейные и экспоненциальные (экспоненциально- возрастающие) отрезки, второй — определение отрезков разбиений с помощью аппроксимации нормальным и лапласовым распределением и градиентного спуска. Было проведено сравнение двух предлагаемых методов на предварительно обученных сетях, таких как VGG-16, MobileNet-v2, ResNet50 и Inception-v3. To reduce random access memory (RAM) requirements we apply different quantization methods for post-learning networks based on correlation maximization between initial and discrete weight values. First method assumes division of the weight distribution interval into linear and exponential segments. Second technique determines this segments using approximations by the normal and Laplace distributions and gradient descent. We provide the comparison of our implementations on different post-training networks: VGG-16, ResNet50, MobileNet-v2, Inception-v3, etc.