Метод вычисления семантической близости-связности между словами естественного языка

Abstract

Розглянуто методи обчислення семантичної близькості-зв’язності слів природної мови. Поняття семантичної близькості дозволяє будувати алгоритмічні моделі контекстно-лінгвістичного аналізу для вирішення таких задач: розв’язання смислових неоднозначностей, розпізнавання центральних сутнос-тей тексту, аналіз природномовних текстів. Запропоновано новий алгоритм оцінки семантичної відстані для слів природної мови, який є зваженою модифікацією відомого підходу Леска, засновано-го на побудові лексичного перетину словникових статей.The paper develops methods to calculate the semantic relatedness of natural language words. The concept of semantic relatedness allows constructing algorithmic models for the context-linguistic analysis to solve problems such as word sense disambiguation, named entity recognition, natural language text analysis, etc. The study proposes a new algorithm to estimate the semantic distance between natural language words. This method is a weighted modification of Lesk’s famous approach, which is based on lexical overlap of glossary entries.