Сложность байесовской процедуры индуктивного вывода. Дискретный случай

Abstract

Досліджено поведінку індуктивних процедур в залежності від змісту навчальної вибірки. Показано, що у випадку, коли в навчальній вибірці відсутня інформація про якийнебудь клас об’єктів або статистична інформація про апріорні імовірності класів, то будьяка процедура працює погано і її похибка строго додатна. Дано оцінку похибки байєсівської процедури розпізнавання в залежності від обсягу навчальної вибірки та інших параметрів. Доведено субоптимальність байєсівського підходу, визначено складність класу задач.

Behavior of inductive procedures depending on composition of learning sample is studied. It is shown that if in the learning sample there is no information about some class of objects or statistical information about a priori probabilities of classes then any procedure works badly and its error is strictly positive. The lower bound of an error for the Bayes recognition procedure is obtained depending on a learning sample size and other parameters. It is proved that Bayesian procedure is suboptimal.