Про методи класифікації прихованих концептів мови у спеціалізованих текстах із залученням псевдообернення, кластеризації і групування ознак

Abstract

В роботі розглянуто задачу порівняння концептів мови у наукових текстах. Для обробки текстів сформовано корпус текстів, які перетворювалися за мірою TF-IDF у поєднанні з перетворенням Карунена – Лоева та T-стохастичним групуванням найближчих сусідів (T-SNE). Отримана структура класифікатора прихованих концептів у вибірці наукових текстів із використанням дерев рішень, досягнуто точність розпізнавання (97–99 %) на зразках текстових даних Досліджено стійкість до збурення вихідних даних варіаційним автокодувальником.Рассмотрена проблема анализа концептов в научных текстах на украинском языке с использованием методов интеллектуального анализа текста, уменьшение размерности данных и группирования признаков.This paper discusses the problems of analysis of hidden language concepts in scientific texts in the Ukrainian language, using methods of text mining, dimensionality reduction, grouping of features and linear classifiers.