Метод виявлення складних для розпізнавання зразків у наборах даних для задач класифікації у машинному навчанні

Abstract

Розглядається проблема неоднозначності в задачах класифікації в області машинного навчання. Задача класифікації полягає у навчанні моделі відрізняти екземпляри даних, що належать різним класам. Однак можливі ситуації, коли правильна класифікація певної множини екземплярів даних складна або навіть неможлива, незалежно від складності моделі машинного навчання. Запропоновано метод та алгоритм виявлення таких неоднозначних екземплярів даних, що базуються на використанні методу найближчого сусіда та аналізу класів екземплярів даних, розташованих поряд у просторі ознак, та дозволяють виділити підмножину неоднозначних екземплярів даних, що можуть негативно впливати на процес навчання моделі класифікації. З метою демонстрації практичного застосування алгоритму проведено експеримент на чотириканальному супутниковому композиті, що використовується для попіксельної класифікації сільськогосподарських культур.The problem of ambiguity in classification tasks in the field of machine learning is considered. The classification task involves training a model to distinguish instances of data belonging to different classes. However, situations may arise where the correct classification of a certain set of data instances is difficult or even impossible, regardless of the complexity of the machine learning model. A method and algorithm for detecting such ambiguous data instances are proposed, based on the use of the nearest neighbor method and analysis of the classes of data instances located close to each other in the feature space. These methods allow for identifying a subset of ambiguous data instances that may negatively affect the training process of the classification model. To demonstrate the practical application of the algorithm, an experiment was conducted on a four-channel satellite composite used for pixel-wise classification of agricultural crops.