Метод визначення інтегративного показника компетентності експерта

Abstract

Визначено особливу універсальну роль експертних процедур у прийняті рішень і забезпеченні функціонування гуманістичних систем. З використанням методів нечіткої математики розроблено і запропоновано якісну шкалу оцінювання компетентності експертів, яка уявляється як терм-множина лінгвістичної змінної “Рівень компетентності експертів”, що охоплює п’ять термів: “дуже високий”, “високий”, “середній (звичайний, як у більшості)”, “низький”, “дуже низький”. За допомогою математичного методу розстановки пріоритетів, відомого також як “задача про лідера”, здійснено дефазифікацію лінгвістичних оцінок рівнів компетентності експертів шляхом надання їм відповідних “зважених” коефіцієнтів бажаності, які нелінійно змінюються. Проведено порівняльний аналіз загальної методології агрегації частинних показників рівнів компетентності у інтегративну (цілісну) оцінку, якій і лише якій притаманна системна властивість емерджентності. Обґрунтовано вибір мультиплікативного підходу до агрегації окремих оцінок компетентності, який на відміну від адитивного, припускає лише часткову компенсацію невеликих значень одних показників рівнів компетентності великими значеннями інших. Наведено приклад ефективності мультиплікативного підходу. Доведено, що реалізація запропонованих процедур дозволяє запобігти статистичним помилкам І–ІІ роду, коли оцінка реальної компетенції або занижується (помилка І роду), або завищується (помилка ІІ роду).

Выявлено особую универсальную роль экспертных процедур в принятии решений и обеспечении функционирования гуманистических систем. Методами нечеткой математики разработана и предложена качественная шкала оценивания компетентности экспертов, которая представляется как терм-множество лингвистической переменной “Уровень компетентности экспертов” и охватывает пять термов: “очень высокий”, “высокий”, “средний (обычный, как у большинства)”, “низкий”, “очень низкий”. С помощью математического метода расстановки приоритетов, известного также как “задача о лидере”, осуществлено дефаззификацию лингвистических оценок уровней компетентности экспертов путем предоставления им соответствующих, нелинейно изменяющихся “взвешенных” коэффициентов желательности. Проведен сравнительный анализ общей методологии агрегации частных показателей уровней компетентности в интегративную (целостную) оценку, которой и только которой присуще системное свойство эмерджентности. Обоснован выбор мультипликативного подхода к агрегации частных оценок компетентности, который, в отличие от аддитивного, допускает лишь частичную компенсацию небольших значений одних показателей уровней компетентности большими значениями других. Приведен пример эффективности мультипликативного подхода. Доказано, что реализация предложенных процедур позволяет избежать статистических ошибок І — ІІ рода, когда оценка реальной компетенции или занижается (ошибка І рода), или завышается (ошибка ІІ рода).

A special universal role of expert procedures in a decision-making process and functioning of humanistic systems has been obtained. By methods of fuzzy mathematics, a qualitative scale for assessing the competence of experts has been developed and proposed. The scale is a term-set of the linguistic variable “Expert competence level” and covers five terms: “very high”, “high”, “average (normal)”, “low”, “very low”. Using mathematical method of prioritization, which is also called as “the task of the leader”, defuzzification of linguistic assessments of expert competence levels was carried out. This happens through providing them with appropriate, non-linearly changing “weighted” coefficients of desirability. A comparative analysis of the general methodology of aggregation of particular indicators of competency levels into an integrative (integral) assessment, which alone is inherent in the system property of emergence, is carried out. The choice of the multiplicative approach to the aggregation of private competency assessments is justified, which, unlike the additive one, allows only partial compensation of small values of some indicators of competence levels by large values for others. An example of the effectiveness of the multiplicative approach is given. It is proved that the implementation of the proposed procedures makes it possible to avoid statistical errors of the І–ІІ kind when the evaluation of real competence is either underestimated (error of the first kind) or overestimated (error of the second kind).