Оптимізаційні питання оцінювання щільності на реальних даних

Abstract

Для оцінювання щільності статистичного розподілу часто застосовують підхід максимальної ентропії, рівносильний підходу максимальної правдоподібності. Однак на малих наборах вхідних даних такий підхід дає надлишковість оцінки. Надлишковість оцінки можна усувати такими методами згладження як регуляризація чи переформулювання обмежень.The maximum entropy approach, equivalent to the maximum likelihood approach, is often applied to estimation of density for a statitistical distribution. But such an approach produces estimate overfitting on small sets of input data. The estimate overfitting can be eiliminated by such smoothing techniques as regularization or reformulation of constraints.