Підходи до оцінки ефективності експертних методів

Abstract

Показано, що визначення точності експертних методів становить суттєву проблему внаслідок відсутності еталонних значень оцінок об’єктів в умовах реальних експертиз. Натомість, запропоновано використовувати показник ефективності методів, заснований на їхній стійкості до збурень вихідних даних. На прикладі порівняння комбінаторного методу агрегації експертних оцінок з урахуванням і без урахування ваг покривних дерев досліджено два підходи до оцінки ефективності експертних методів. Один підхід ґрунтується на використанні даних реального експертного оцінювання заданих еталонних об’єктів; другий — на імітаційному моделюванні усього циклу експертизи, в тому числі, й самих експертних оцінок. У ході дослідження ефективності двох указаних методів агрегації експертних оцінок імітаційний підхід показав себе як більш коректний і репрезентативний. Отримано експериментальні результати, які емпірично підтверджують перевагу комбінаторного методу з урахуванням ваг покривних дерев над комбінаторним методом без урахування ваг (і, відповідно, над методами геометричного середнього по рядках і логарифмічним методом найменших квадратів).

Показано, что определение точности экспертных методов представляет существенную проблему вследствие отсутствия эталонных значений оценок объектов в условиях реальных экспертиз. Предложено использовать показатель эффективности методов, основанный на их устойчивости к искажениям исходных данных. На примере сравнения комбинаторного метода агрегации экспертных оценок с учетом и без учета весов покрывающих деревьев исследованы два подхода к оценке эффективности экспертных методов. Один подход основан на использовании реальных данных экспертного оценивания заданных эталонных объектов, другой — на имитационном моделировании всего цикла экспертизы, в том числе, и самих экспертных оценок. В ходе исследования эффективности двух указанных методов, имитационный подход показал себя как более корректный и репрезентативный. Получены экспериментальные результаты, эмпирически подтверждающие преимущество комбинаторного метода с учетом весов покрывающих деревьев над методом без учета весов (и. соответственно, над методами геометрического среднего по строкам и логарифмических наименьших квадратов).

It is shown that definition of accuracy of expert methods represents a significant problem due to unavailability of benchmark values of object estimates in real expert examinations. It is suggested to use the efficiency indicator based on the stability of results of aggregation methods under deviations of input data. It has been studied two approaches to expert method efficiency evaluation on the example of comparison of two modifications of combinatorial aggregation method (in one modification spanning tree weights are taken into consideration, while in the other they are not). The first approach is based on analysis of real data of expert estimation of special benchmark objects, while the second one is based on simulation of the whole expert examination cycle, including the estimates themselves. In the process of efficiency evaluation of the two specified methods, the simulation-based approach turned out to be more suitable and representative. The obtained experimental results empirically prove the advantage of combinatorial method, taking spanning tree weights into account, over the method where these weights are not considered (and, consequently, over row geometric mean and logarithmic least squares methods).