3.1 Скалярный критерий, ранжирование вариантов

(и*, q, 1, ЭК), (и*, Ц, 1, ЭК), (и*, X, 1, ЭК) ,

Vo Vo' Vo , Vo' , ЭК), Vo, Ц, 1, ЭК), Vo, X, 1, ЭК),

(r, q, 1, ЭК), (r, Ц, 1, ЭК), (r, X, 1, ЭК) .

Простейший метод экспертных оценок, основанный на ранжировании вариантов, заключается в следующем [9].

Пусть имеется группа из m экспертов {j = 1,..., m, m > 2} и множество вариантов решения

Vo = ), i = 1,..., n}. Сформулирована целевая функция принятия решения в виде критерия q или цели Ц.

В результате сопоставления вариантов по критерию q на основе накопленного опыта и профессиональных знаний каждый эксперт определяет начальный вектор рангов вариантов, для j-го эксперта этот вектор y(i) имеет вид

y(j)=(y(j,1), y(j,2),..., y(j,n)),

где y(j, i) - ранг варианта v(i) или vi решения, присваиваемый j-м экспертом, при этом y(jh) < y(jt), если вариант vh предпочтительнее варианта vt по критерию Q. Допускается y(j, h) = y(j,t), (h Ф t), а также отсутствие значений y(j, i) (знак «-») для вариантов, которые j-й эксперт считает одинаково неперспективными.

Вектора y(j), j = 1...m образуют m х n матрицу рангов

Г = 1 |y( j, i )ll mxn '

причем

y (j, i )e{1;2;...; n; (-)}. Требуется по значениям компонентов матрицы Г определить:

оптимальный вариант и* или сформировать подмножество предпочтительных вариантов yo, содержащее оптимальное решение;

рейтинги вариантов;

степень согласованности мнений экспертов (рассчитать коэффициент конкордации W и проверить его значимость).

Ранжированием совокупности (множества) вариантов vo = {v(i,j), i = !,•••,n} называется нумерация вариантов v(i) в соответствии с возрастанием (или убыванием) некоторого критерия q.

x(j )=(x(j,l), x(j,2),•••, x(J\n)),

а h-м экспертом

x(h) = (x(h,1), x(h,2),_, x(h,n)) •

Причем для суммы рангов x(j, i) любого эксперта при правильном ранжировании должно выполняться условие нормировки

?x(j,i) = n(n +1)2 • (14)

i=1

Степень связи между последовательностями рангов

^Л x(j ,2 ),•••, x(j, n)

и

x(h,1), x(h, 2),•••, x(h,n)

оценивается с помощью коэффициентов ранговой корреляции K по Спирмену или по Кендаллу. Значения K принадлежат интервалу [-1; 1] Если последовательности x(j) и x(h) равны, т.е. мнения экспертов j и h совпадают, то K = 1, если же ранжирование вариантов двумя экспертами полностью противоположно, то K = -1, и если ранги в последовательностях x(j) и x(h) независимы, то K ^ 0 • Например: номера вариантов (n = 5): 1 2 3 4 5 ранги j-го эксперта (x(j, i)): 3 1 2 5 4 ранги h-го эксперта (x(h, i)): 2 3 1 4 5 причем в соответствии с (14)

5

x(

i=1

Xx(j, i )=Sx(h, i )=15 •

i=1

Коэффициент ранговой корреляции по Спирмену KC рассчитывается по формуле

6 •

X((j, i)-x(h, i))2

(15)

K с = 1 -

i =1

Для нашего примера KC равен

n(n2 -1)

K c = 1 - 6

= 0,6 .

1 + 2 2 +1 +1 +1 5(52 -1)

Коэффициент конкордации W оценивает степень согласованности мнений m экспертов (m > 2) при ранжировании вариантов. Если все эксперты одинаково проранжировали варианты, т.е. их мнения полностью совпадают, то W = 1, если связи между рядами x(j), j = 1,...,m нет, т.е. мнения экспертов сильно расходятся, то W близко к нулю. Таким образом, значения коэффициента W принадлежат интервалу [0;1].

В случае, когда компетентность экспертов не учитывается, т.е.

2

I

I x(j,i)-m(n + 0/ 2

(16)

W =-

.j=1

1

m

2

mn

12

(n2 -1/-mlT(j)

j=1

I t (ji )(( 2 (ji)-1/ T(j) = ^ , j = 1,.,m ,

12

где t (j, i) - число повторений рангов x(j, i) в j-м ряду.

В случае, когда учитывается компетентность экспертов введением весовых коэффициентов c(j), j = 1,K,m , коэффициент W рассчитывается следующим образом

12I d (i )2

i=1

2

W =-

m

2

mn

I c(j )/

.1=1

(n2 -1)-12mlT(j)

j=1

(17)

1

d (j )= Ic (j) x (1,i)

n

I Ic Cj' ) x (j, i)

V i=1

i=1 j=1

Веса c(j) могут определяться различными путями. Например, на основе учета квалификации, образования, стажа работы по специальности и т.д. Более объективно для определения c(j) можно использовать тесты или методы ранжирования другой группой экспертов.

Заметим, что используемые в формулах (15) - (17) ранги x(j, i) обязательно должны удовлетворять условию нормировки (14). Например, ранги y(j, i), проставленные j-м экспертом и занесенные в исходную матрицу рангов Y для n = 6, равны y(j) = (2,1,1, -, -, -) и не удовлетворяют условию (14), после нор-мирования они имеют вид x(j) = (3; 1,5; 1,5; 5; 5; 5), т.е. выполняется условие

Ix(j, i) = ^ = 21.

i =1

В этом примере последовательность рангов y(j) преобразуется в нормированный ряд x(j) следующим образом. Эксперт поставил второй v2 и третий v3 варианты на первое место (две единицы в ряду

y(j) )• В нормированном ряду два лучших варианта в сумме должны давать 1 + 2 = 3 • Поэтому этим вариантам присваиваются одинаковые значения x(j, 2) = x(j, 3) = 3/2 = 1,5 • На третье место j-й эксперт поставил 1-й вариант, поэтому x(j,1) = 3 • Остальные варианты эксперт считает одинаково неперспективными, они должны стоять на 4-м, 5-м и 6-м местах, поэтому

x(j,4) = x(j,5) = x(j,6) = 4 + 3 + 6 = 5 •

Достоверность предположения о согласованности мнений экспертов проверяется методами проверки статистических гипотез • Статистические гипотезы представляют собой некоторые предположения относительно характеристик случайных величин, вероятностных связей, вида зависимостей и т^, которые подлежат проверь Различают нулевые и альтернативные гипотезы.

Например, коэффициент ранговой корреляции K равен нулю или коэффициент конкордации W = 0 • В этих случаях отклонения оценок K и W от нуля объясняются лишь случайными колебаниями в статистических данных. Альтернативными называются все остальные гипотезы, например, K > 0, K < 0

или W > 0 •

Процедура обоснованного сопоставления гипотезы с полученными при исследовании практическими результатами (данными) называется статистической проверкой гипотез • Для осуществления проверки используется некоторая случайная величина X - критическая статистика, которая связана с рассчитанным параметром (K, W и т^), при этом известен закон распределения X в предположении правильности нулевой гипотезы, это распределение определяет соответствующий статистический критерий Обычно критерий носит название закона распределения критической статистики.

Например, для проверки значимости коэффициента конкордации W , т^ проверки гипотезы, что W существенно больше 0, могут использоваться Z-критерий Фишера и критерий «Xu-квадрат» Пирсона (или х2 )•

В первом случае в качестве критической статистики используется величина

Z = 0,5ln[(n + 1)W/(1 - W)], (18)

имеющая распределение с числами степеней свободы

Vj = n-1, v2 = (m - 1}Vj, (19)

здесь n, m - число вариантов и экспертов соответственно • Во втором случае рассматривается величина

Л

X2 = m(n -1)W , (20)

подчиняющаяся распределению Пирсона с

v= n-1 (21)

степенями свободьг

Число степеней свободы v соответствует числу свободно варьируемых данных, по которым рассчитывается статистический показатель (в нашем примере W ), это число определяется как разность между объемом выборки и числом наложенных связей

Для формализации процедуры проверки статистической гипотезы область значений критической статистики X делится на две части - допустимую L, в которой наиболее вероятны значения X в предположении правильности нулевой гипотезы, и критическую L, внутри которой появление значений X

при условии правильности нулевой гипотезы маловероятно [11]

Если рассчитанная по результатам экспертизы оценка критической статистики X принадлежит L, то принимается нулевая гипотеза и исследуемый показатель считается незначимым. В противном случае, т^ когда X принадлежит L (или X не принадлежит L ), нулевая гипотеза отвергается, а исследуемый показатель считается значимым или существенно отличным от нуля, например, W существенно больше нуля и мнения экспертов можно считать согласованными

Границу Xгр между областями L и L выбирают уровнем значимостью 100а, % или максимальной

вероятностью а ошибки первого родa.

Проверка значимости коэффициента конкордации W производится в следующем поряди

Выбирается статистический критерий (Фишера или Пирсона) При n > 7 рекомендуется использовать критерий Пирсонa.

По формуле (18) или (20) рассчитывается оценка критической статистики ( z или XX2 )•

Задается уровень значимости 100 а, %, рассчитываются числа (или число) степеней свободы v по формулам (19) или (21) и по соответствующей статистической таблице критерия определяется граничное X(rp) или табличное Xт (v, а) знaчение. Например, для критерия Пирсона по тaбл. 1П1 по значениям

v = n -1 и 100 а, % определяется х2 (v, а)

Принимается решение: если X >хт(v,а), то нулевая гипотеза отвергается и коэффициент конкордации W значим, при соответствующем значении 100 а, %, если X <хт (v, а), то имеет место нулевая гипотеза и W незнaчим.

Для облегчения принятия решения по результатам высказываний экспертов рассчитываются результирующие (суммарные) и средние ранги вариантов, т^

m 1

xs(i) = Xx(j,i) и x(i) = — xs(i), i = 1,...,n •

j=1

По значениям xs(i) и x(i) оцениваются рейтинги вариантов R(i), i = 1,.,n для случая значимого коэффициента W и R1(i), i = 1,K,n при незначимом W • Расчет R(i) и R1(i) выполняется по формулам

R(i ) = 1

(22)

i = 1,...,n,

m

К/ x (, i)) j =1

1 f _n

(23)

i = 1, к, n •

R1(i ) = -рт X xs(i)

xs(i )

V i=1

Заметим, что в формуле (22) обычно принимается 1/x(j, i) = 0, если x(j, i) = n •

Пример L В качестве примера рассмотрим обработку результатов экспертизы, представленных в тaбл. 1.

1 Оценки экспертов

Эксперты

Варианты (n = 6) (m = 4) U1 U2 из U4 U5 U6 1 1 2 1 4 3 5 2 1 2 2 3 1 4 3 1 1 3 2 3 4 4 1 1 3 3 4 3 После нормирования рангов данные заносятся в табл.

2 Нормальные ранги Варианты (n = 6) Значе-ния

T (j) Эксперты U1 U2 U3 U4 U5 U6 1 1,5 3 1,5 5 4 6 0,5 2 1,5 3,5 3,5 5 1,5 6 1 3 1,5 1,5 4,5 3 4,5 6 1 4 1,5 1,5 4 4 6 4 2,5 xs C) 6 9,5 13,5 17 16 22 xs (() - m(n +1))2 -8 -4,5 -0,5 3 2 8 (xs C) - m (n +1) / 2 )2 64 20,2 5 0,25 9 4 64 По результатам табл. 2 рассчитывается коэффициент конкордации (см. (16))

6 ( 4 7 4 2

§ [xs(l )-Т"

W = -

• = 0,621.

1^42 .б(б2 -1)-4-(0,5 +1 +1 + 2,5)

Проверку значимости коэффициента W произведем по критерию «Хи-квадрат». Расчетное значение критерия в соответствии с (20) равно

XX2 = m(n - 1)W = 12,42.

Значение XX2 сравнивается с табличным, получаемым при а = 0,05 и v = n -1 = 5 . Так как

XX2 = 12,42 >X2 (0,05; 5) = 11,07

то мнения экспертов при уровне значимости 5 % можно считать согласованными. Рейтинги вариантов, рассчитанные по формуле (22), равны:

1 4 1 14 1

R(1)=IX j)--»67- r(2>=4X j =M88- 1 4 1 1 4 1

R/3)-4 X XjJ;з>-0,356• r(4)=4 x j^96;

1 4 1 1 4 1

R(5> = — X —7 r- =0,326; R(6) = -V— ^ =0,188 •

W 4 j= x(j,5) W 4 x(j,6)

Таким образом, наибольшие рейтинги по согласованному мнению экспертов имеют варианты и1 и

Методы экспертных оценок имеют ряд разновидностей, отличающихся способами анализа вариантов экспертами (обычное ранжирование, парные сравнения и др^, обработки результатов, а также различиями на других стадиях проведения экспертиз • Обычно выделяют следующие стадии:

формулировка ЛПР проблемы и цели экспертизы;

подбор ЛПР основного состава рабочей группы (РГ);

разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;

разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и методы анализа этой информации (вычисление медианы Кемени, статистический анализ люсианов и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);

подбор экспертов в соответствии с их компетентностью;

формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);

проведение сбора экспертной информации;

анализ экспертной информации;

при наличии нескольких туров - повторение двух предыдущих этапов;

интерпретация полученных результатов и подготовка заключения для ЛПР;

официальное окончание деятельности РГ