Градиент как основа для построения функции потерь

Abstract

Глубокие нейронные сети достигли большого успеха в различных областях, но их обучение всё еще представляет трудность. Точность нейронной сети зависит не только от её архитектуры, но также от выбора функции потерь. Перекрестная энтропия является наиболее частым выбором для решения задач классификации. Данная функция потерь имеет недостаток – она плохо работает с несбалансированными данными. Для того, чтобы решить данную проблему, была предложена функция потерь Focal Loss. В данной работе мы исследуем причины хорошей работы данной функции потерь в условиях несбалансированных данных. Мы находим ряд свойств градиента Focal Loss, которые могут быть использованы для построения новых функций потерь, а также предлагаем некоторые из них. Состоятельность предложенных функций потерь показана экспериментально. Deep neural networks have achieved a tremendous success in a variety of applications across many disciplines. Yet, training a neural network comes with several challenges that have to be solved. The performance of a deep learning models rely not only on the network architecture but also on the choice of a loss function. Cross-entropy loss found to be the most common choice for the classification problem. But its main downside is that it can't handle data with huge class imbalance. In order to tackle this problem, the Focal loss has been proposed. In this paper we investigate the reasons behind its good performance. We find several properties of the Focal loss' gradient that can be applied for building new loss functions and propose a few of them. We also show an experimental evidence of the validity of the proposed functions.