Влияние дисбаланса классов в обучающей выборке на качество классификации для задачи определения литотипов по фотографиям полноразмерного керна

Abstract

Использование методов машинного обучения широко распространено сегодня для решения прикладных задач в различных областях деятельности. Качество получаемых моделей обычно связано с качеством данных, используемых для обучения и настройки модели. На практике часто встречаются несбалансированные выборки данных, когда без учета этой особенности построить модель приемлемого качества не удается. Так, при построении классифицирующих и регрессионных моделей для фотографий полноразмерного керна, часто встречаются ситуации, когда превалирующий литотип представлен много большим количеством образцов, чем другие литотипы. При обучении модели такой дисбаланс затрудняет получение и обобщение информации о мало представленном (миноритарном) классе. Во-первых, в текущей выборке могут быть не отражены какие-либо свойства, характерные для данного литотипа. Во-вторых, свойства могут не извлекаться в силу влияния дисбаланса. В работе используется один из вариантов балансировки набора данных для обучения – увеличение числа примеров (oversampling) миноритарного класса. Рассматривается ряд примеров с разными характеристиками баланса данных, а также влияние размера исходной выборки на возможность коррекции дисбаланса. Nowadays machine learning methods play an important role in many industries. Mainly, the effectiveness of the predicting models depends on the dataset. In practice, the imbalanced datasets are quite common. Frequently in the task of model creation for classification of lithotypes via whole core photos prevailing lithotype is represented by a much larger number of samples than other lithotypes. It is difficult to obtain good generalization in training for poorly represented classes. Firstly, some characteristics of a given minor lithotype may be absent. Secondly, some features of a minor class can be ignored due to imbalance. For the problem of speeding-up of the geological core description, we analyze the oversampling of a minor class to obtain the balanced dataset. Several examples with different data balances as well as the effect of the size of the original dataset on the effectiveness of correcting the imbalance are considered.