Формування масиву вхідних даних при класифікації текстів у технології інформаційного моніторингу

Abstract

У статті наведено результати досліджень процесів перетворення інформації від форми текстового повідомлення до форми двовимірного масиву чисельних характеристик. Ці характеристики використовуються як масив вхідних даних (МВД) при синтезі моделі-класифікатора індуктивними методами, зокрема, багаторядним алгоритмом методу групового урахування аргументів (МГУА). Запропоновано новий метод визначення переліку інформативних ознак тексту, який є адаптивним до поставленої задачі та до властивостей МВД. Створені умови для 100% вірної класифікації текстів. Це свідчить про забезпечення достатньої інформативності МВД у технологіях моніторингу текстових повідомлень.

В статье приведены результаты исследований процессов преобразования информации от формы текстового сообщения в форму двумерного массива численных характеристик. Эти характеристики используются в качестве массива входных данных (МВД) при синтезе модели-классификатора индуктивными методами, в частности, многорядным алгоритмом метода группового учёта аргументов (МГУА). Предложен новый метод формирования перечня информативных признаков текста, который является адаптивным к поставленной задаче и свойствам МВД. Созданы условия для 100% верной классификации текстов. Это свидетельствует о том, что обеспечена достаточная информативность МВД в технологиях мониторинга текстовых сообщений.

The article presents investigation results of information transformation from a form of the text message into the two-dimensional array of numerical characteristics. These characteristics are used as an array of input data (AID) when synthesizing the model-classifier by using inductive methods, in particular the multi-row algorithm of group method of data handling (GMDH). A new method for defining the list of informative text features that are adaptive to a given task and properties of the AID are suggested. Conditions for 100% correct classification of texts are created. This enables sufficient informativeness of AID in technologies of text message monitoring.