Методы устранения неполноты данных при онлайн- мониторинге рынка труда

Abstract

Проблема неполноты данных достаточно актуальна, в том числе при сборе онлайн-данных. Возможными причинами неполноты данных могут быть: ошибки и изменения на площадках-источниках данных, сбои и ошибки в работе инструментов, осуществляющих сбор данных, и т.д. В результате чего при анализе данных имеем неполный массив. Поскольку для осуществления анализа наличие пропусков в данных обычно нежелательно, то возникает выбор: отбросить неполные данные или заполнить недостающие значения. Второе, как правило, является предпочтительным решением, однако важно выбрать подходящий метод устранения пропусков в данных, не приводящий к искажению результатов. В данной статье представлен обзор современных методов устранения неполноты данных. В задаче заполнения пропусков в онлайн данных по рынку труда был использован метод k-средних. The problem of incomplete data is quite relevant, including when collecting online data. Possible reasons for incompleteness can be: errors and changes at the sites-the sources of data, failures and errors in the instruments for collecting data, etc. With the result that at the stage of data analysis have an incomplete array. Because the analysis is the presence of missing data is usually undesirable, there is the choice to discard incomplete data or fill in missing values. Second, as a rule, is the preferred solution, however, it is important to choose a suitable method of eliminating the missing data, not distorting the results. This paper presents a review of modern methods of elimination of incompleteness of the data and describes the application of the method of k-means to fill the gaps in the online data on the labor market.