Ефективний метод виявлення структур залежностей в статистичних даних

Abstract

Розглянуто проблеми індуктивного виводу (відтворення) структур моделей ймовірнісних залежностей в класі ациклічних орієнтованих графів та в підкласі монопотокових моделей (де кожний цикл має два або більше колайдерів). Досліджено властивості монопотокових моделей. Розроблено метод “Proliferator-C” (узагальнений і вдосконалений варіант метода Chow&Liu), який відтворює структуру монопотокової моделі, спираючись на знання колайдерних змінних та тести умовної незалежності першого порядку, та алгоритм ‘Collifinder’, який ідентифікує всі колайдерні змінні. Порівняно з відомими методами “Proliferator-C” є менш критичним до розміру відборки даних, а за складністю – близький до відомих алгоритмів для лісів (дерев) залежностей.

Problems of recovery of probabilistic graphical model structures in class of acyclic directed graphs (DAG) and their subclass of ‘mono-streams’ models (i.e. digraphs with restriction that each cycle have two or more colliders) are considered. Properties of ‘monostreams’ models are examined. The method for learning structure of any ‘mono-streams’ model from statistical data are developed. The method is more reliable and robust to sample size then known methods while its complexity is comparable with that for tree-like dependency model recovery algorithms. The method consist of the algorithm ‘Collifinder’ for identification all colliders and method “Proliferator-C”, an extended version of well-known Chow&Liu method.