Утверждение что в некоторой экспертизе численная оценка. Эконометрические методы проведения экспертных исследований и анализа оценок экспертов. О разработке регламента проведения сбора и анализа экспертных мнений
При проведении анализа собранных экспертных данных в соответствии с це-лями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты - варианты, показатели, факторы и т.п.), а также определить согласован-ность действий экспертов и достоверность экспертных оценок.
Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения риска - в порядке их предпочтительности и т.п.
Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распростра-ненными из них являются: ранжирование, непосредственная оценка, последова-тельное сравнение, парное сравнение.
Важным моментом экспертных процедур является оценка согласованности дей-ствий экспертов и достоверности экспертных оценок.
Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экс-пертов достоверность оценок гарантируется.
Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.
Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками раз-личных экспертов отсутствует. При W = 1 - согласованность мнений экспертов полная.
Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше за-данного (нормативного) значения Wн (W > Wн).
Можно принять Wн = 0,5. Считается, что при W > 0,5 действия экспер-тов в большей степени согласованы, чем не согласованы.
Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выяв-лены пять видов риска, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.
При полностью согласованном мнении экспертов каждый из них перво-му виду риска дал два балла, второму - один, третьему - четыре, четвертому - три, пятому - пять. В этом случае суммарный ранг важ-ности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.
Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 n (m+1) и в рассматрива-емом примере среднее значение составляет - 12.
Таким образом, мнения экспертов можно считать в достаточной степени согласованным.
Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась результатом случайных вариаций их мнений.
Если в соответствии с принятыми критериями мнения экспертов можно считать согласованными, то данные ими оценки принимаются и исполь-зуются в процессе подготовки и реализации управленческих решений.
Если полученные оценки нельзя считать достоверными, следует повто-рить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.
Здесь следует отметить важную роль организаторов экспертизы, в за-дачи которых входят:
постановка проблемы, определение целей и задач экспертизы, ее гра-ниц и основных этапов;
разработка процедур экспертизы, в наибольшей степени соот-ветствующей характеру решаемой проблемы; отбор экспертов, провер-ка их компетентности и формирование групп экспертов;
проведение опроса и согласование оценок; формализация полученной информации, ее обработка, анализ и интерпретация.
От правильной организации экспертизы в значительной степени зависит эффективность результатов, полученных посредством экспертных оце-нок, в т.ч. и достоверность этих оценок.
Еще по теме Анализ и обработка экспертных оценок:
- Экспертные процедуры и методы субъективных оценок при измерении риска
ЛЕКЦИЯ №6
ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК
1. Задачи обработки.
1. Задачи обработки.
В зависимости от целей экспертного оценивания и метода учета экспертных оценок возникают следующие основные задачи:
- построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов;
построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;
определение относительных весов взаимосвязи объектов;
определение зависимостей между ранжировками;
определение согласованности мнений экспертов;
оценка надежности обработки результатов.
При решении многих задач недостаточно упорядочения объектов по одному или группе показателей. Необходимо иметь числовые значения для каждого объекта, определяющие его предпочтение перед другими объектами. Наличие таких оценок позволит определить обобщенную оценку для всей группы экспертов.
Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласования способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов.
Обработка экспертных оценок позволяет вскрыть связанные показатели сравнения и осуществить группировку по степени связи. Так, например, если показатели сравнения - различные цели, а объекты сравнения - средства достижения этих целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос: "в какой степени достижение одной цели при данных средствах способствует достижению других целей" (то есть установить причинно-следственную связь).
Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важнейших задач процедуры обработки является определение их надежности.
2. Групповая экспертная оценка объектов при непосредственном оценивании.
Существует множество подходов к решению данной задачи. С целью иллюстрации рассмотрим один из простейших. Пусть m экспертов провели оценку n объектов по l показателям. Результаты оценивания представлены величинами, где i - номер объекта, j - номер эксперта, h - номер показателя. Величины, полученные методам непосредственного оценивания, представляют собой числа из некоторого отрезка числовой оси, или баллы.
В качестве групповой оценки для каждого из объектов можно принять среднее взвешенное значение его оценки
(6)
где q h - коэффициенты весов показателей сравнения объектов, k j - коэффициенты компетентности экспертов. Величины q h и k j являются нормированными, то есть
Коэффициенты q h могут быть определены экспертным путем, как средний коэффициент веса h -ого показателя по всем экспертам, то есть
Возможность получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности основывается на выполнении:
аксиом теории полезности фон Неймана-Моргенштерна для индивидуальных и групповых оценок ;
и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето) .
Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, то есть по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность эксперта должна оцениваться по степени согласованности его оценок с групповой оценкой объектов.
Для упрощения дальнейшего изложения, ограничимся рассмотрением случая h =1. То есть когда групповое оценивание объектов проводится на основе только одного показателя. Алгоритм вычисления групповых оценок и коэффициентов компетентности экспертов для этого случая имеет вид:
а) начальные условия при t =0
т.е. начальное значение коэффициентов компетентности для всех экспертов принимается одинаковым и равным.
б) рекуррентные соотношения для t =1,2,3 ...
|
Групповая оценка для i -ого объекта на t -ом шаге на основе индивидуальных оценок x ij . |
|
|
- нормировочный коэффициент |
|
|
j -ого эксперта на t -ом шаге |
|
|
Коэффициенты компетентности m -ого эксперта из условия нормировки. |
в) признак окончания итерационного процесса
Сходимость данной итерационной процедуры доказана в литературе для случая, когда индивидуальные оценки неотрицательны, а эксперты и объекты не распадаются на отдельные группы (то есть когда каждая группа экспертов не оценивает объекты своей группы). В большинстве практических задач эти условия выполняются, что доказывает сходимость алгоритма .
Пример. Три эксперта (m =3) оценили значение двух мероприятий (n =3) по степени их влияния на решение одной из проблем (l =1). Результатами экспертизы явились нормированные оценки мероприятий x 1j + x 2j =1, j=1,2,3 .
|
x ij |
Эксперт 1 |
Эксперт 2 |
Эксперт 3 |
|
|
Мероприятие 1 |
||||
|
Мероприятие 2 |
Вычислим групповые оценки мероприятий, приводящих к решению проблемы и коэффициенты компетентности каждого из экспертов. Для этого воспользуемся приведенным выше алгоритмом, задавшись точностью вычисления Е=0,001.
Средние оценки объектов первого приближения (при t =1) будут равны:
x 1 =(0,333;0,667)
Вычислим нормировочный коэффициент 1 :
Значение коэффициентов компетентности первого приближения примут значения:
И тогда k 1 =(0,34;0,30;0,36)
Вычисляя групповые оценки второго и т.д. приближения, получим:
Результат третьего шага удовлетворяет условию окончания итерационного процесса и за значение групповой оценки принимается x x 3 = (0,3235; 0,6765).
3. Обработка парных сравнений.
При установлении причинно-следственных зависимостей между объектами предметной области, экспертам в ряде случаев сложно выразить их численно. То есть трудно установить количественно степень влияния той или иной причины (объекта) на конкретное следствие. Особенно психологически это сложно, если таких объектов много.
Вместе с тем, эксперты сравнительно легко решают задачу парного сравнения. Эта задача состоит в том, что эксперт устанавливает предпочтения объектов при сравнении всех возможных пар. То есть эксперт, рассматривая все возможные пары объектов, в каждой из них устанавливает ту причину, которая по его мнению оказывает большое влияние на следствие. Возникает вопрос, как получить оценку всей совокупности объектов на основе результатов парного сравнения, выполненного группой экспертов.
Пусть каждый из m экспертов производит оценку влияния на результат всех пар объектов, давая числовую оценку
где h =1,2,... m - номер эксперта, i , j =1,2,... n - номера объектов, исследуемых при экспертизе. Т. е. по результатам экспертизы имеем m -таблиц (матриц) вида (рис.7):
|
x ij =M |
||||||||||||||||
|
r ij 1 |
||||||||||||||||
Рис.7. Последовательность обработки парных сравнений
Как следует из рис.7 последовательность обработки парных сравнений заключается в том, что на основании таблиц парных сравнений m -экспертов строится матрица математических ожиданий оценок всех пар объектов. Затем по этой матрице вычисляется вектор коэффициентов относительной важности объектов.
Если при оценке пары O ij из общего количества экспертов m i высказались в пользу предпочтение O i , m j экспертов в пользу O j , а m p считает эти объекты равноправными, то оценка математического ожидания дискретной случайной величины r ij будет равна:
Т.к. общее количество экспертов, то определяя отсюда m p и подставляя его в вышеприведенное выражение, получим
Очевидно, что х ij + х ji = 1 . Совокупность величин х ij образуют матрицу Х=||х ij || размерности n x n , на основе которой можно построить ранжировку всех объектов и определить коэффициенты относительной важности объектов, то есть вектор
k = [ k 1 , k 2 , ... k n ] T
Одним из способов определения значений элементов вектора К является итерационный алгоритм вида:
а) начальное условие t=0
б) рекуррентные соотношения
где Х - матрица математических ожиданий оценок пар объектов, k t - вектор
коэффициентов относительной важности объектов порядка t .
Условие нормировки.
в) признак окончания || k t - k t -1 ||< E .
Если матрица Х неотрицательна и неразложима (то есть путем перестановки строк и столбцов ее нельзя привести к треугольному виду), то при увеличении порядка t величина t сходится к максимальному собственному числу матрицы Х, то есть
Это утверждение следует из теоремы Перрона-Фробениуса и доказывает сходимость приведенного выше алгоритма .
Пример. Предположим, что в результате опроса трех (m =3) экспертов о степени влияния на результат трех (n =3) различных факторов (объектов) получены следующие таблицы парных сравнений:
Экспетр 1(R 1 ) Эксперт 2(R 2 ) Эксперт 3(R 3 )
|
О 1 |
О 2 |
О 3 |
О 1 |
О 2 |
О 3 |
О 1 |
О 2 |
О 3 |
|||||
|
О 1 |
О 1 |
О 1 |
|||||||||||
|
О 2 |
О 2 |
О 2 |
|||||||||||
|
О 3 |
О 3 |
О 3 |
Для получения групповой оценки степени влияния каждого из объектов на результат, построим матрицу математических ожиданий оценок каждой из пар объектов, которая для рассматриваемого примера будет иметь вид:
|
О 1 |
О 2 |
О 3 |
|
|
О 1 |
|||
|
О 2 |
|||
|
О 3 |
Значения элементов этой матрицы получены из следующих выражений:
Воспользуемся вышеописанным алгоритмом для получения вектора относительной важности объектов. Для наглядности, каждый из шагов представим в виде:
шаг 0:
шаг 1 :
шаг 2 :
Продолжая итерационный процесс до тех пор, пока норма оценки не будет меньше заданной ((| K i t - K i t -1 |) < 0,001) получим
На четвертом шаге выполняется условие выхода, что позволяет за групповую оценку степени влияния на результат принять вектор коэффициентов относительной важности объектов вида:
4. Определение обобщенных ранжировок.
При групповой экспертной оценке каждому i -ому объекту каждый из j -ых экспертов присваивает r ij . В результате проведения экспертного оценивания получается матрица рангов || r ij || размерности n x m , где n - число объектов (), а m - число экспертов ().
Самый простейший способ получения обобщенной ранжировки заключается в ранжировании объектов по величине сумм рангов, полученных каждым объектов от всех экспертов. В этом случае для матрицы ранжировок || r ij || вычисляются суммы:
Далее объекты упорядочиваются по цепочке неравенств r k < r l < . . .< r q , где, ... , . Отсюда следует обобщенная ранжировка объектов
O k O l ... O q .
Для учета компетентности экспертов достаточно умножить i -ю ранжировку на коэффициенты компетентности j -го эксперта 0 k j 1. В этом случае вычисление суммы рангов для i -ого объекта производится по формуле
что позволяет упорядочить объекты по цепочке неравенств. Следует отметить, что построение таких обобщенных ранжировок является корректной процедурой только в том случае, если ранги назначаются как места объектов в виде натуральных чисел 1,2,..., n .
Однако ранги объектов определяют только порядок расположение объектов по показателям сравнения. Ранги как числа не дают возможность сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим. Если ранг 3, то отсюда не следует делать вывод о том, что объект, с рангом 1, в три раза предпочтительнее, чем объект, имеющий ранг, равный трем.
Вместе с тем для использования в ЭС знаний, полученных от экспертов, необходимо не только упорядочение или ранжирование объектов по степени их влияния или воздействия на какой-либо результат, но и определение количественной оценки степени влияния каждого из объектов на результат.
Простейшим методом для реализации этой задачи является подход, основанный на построении обобщенной ранжировки путем перехода от матрицы ранжировок к матрице парных сравнений. Для этого на основе матрицы || r ij || строится m матриц парных сравнений R j (j =1,2,..., m ), где m - число экспертов. Элементы этих матриц определяются следующим образом:
где j - номер эксперта, i и k - номера сравниваемых объектов.
Затем к полученным матрицам парных сравнений всех экспертов применяется рассмотренный ранее метод обработки парных сравнений. Его итерационная процедура позволяет получить коэффициенты относительной важности объектов по степени их влияния на результат. Проиллюстрируем применение этого подхода на примере.
Пример . Пусть три эксперта (m =3) провели ранжировку трех объектов (n =3) по степени их влияния на какой-либо результат и таблица ранжировок имеет вид:
|
Объект О i |
Эксперт 1 |
Эксперт 2 |
Эксперт 3 |
|
О 1 |
|||
|
О 2 |
|||
|
О 3 |
На основе этой таблицы матрица парных сравнений для первого эксперта будет иметь вид:
Аналогичные матрицы парных сравнений для второго и третьего эксперта будут иметь вид:
Используя метод обработки парных сравнений получим последовательность векторов коэффициентов относительной важности объектов:
|
Шаг |
К 1 |
К 2 |
К 3 |
|
0,481 |
0,330 |
0,185 |
|
|
0,489 |
0,346 |
0,156 |
|
|
0,348 |
0,152 |
||
|
0,349 |
0,151 |
Итерационная процедура с заданной точностью (Е=0,001) является сходящейся на четвертом шаге к значениям:
что позволяет оценить количественно степень влияния каждого объекта на результат, полученный на основе исходного ранжирования экспертов.
3.5. Замечания к определению групповых оценок.
Все рассмотренные методы получения групповых оценок позволяют получить достоверные результаты в случае хорошо подобранной группы экспертов и согласованности их мнений. Если это не так, то встает задача определения количественной оценки степени согласованности экспертов. Получение количественной меры позволяет более обоснованно интерпретировать причины в расхождении мнений.
Для оценки меры согласованности мнений группы экспертов используют, в частности, дисперсионный и энтропийный коэффициенты конкордации . Кроме этого, при обработке результатов ранжирования могут возникать задачи:
определения зависимости между ранжировками двух экспертов;
связи между достижением двух различных целей при решении одной и той же совокупности проблем;
взаимосвязи между признаками (объектами).
В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок будет являться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена [ 5 ] и Кендалла [ 5 ] .
Задачи прогнозирова-ния, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возмож-ных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.
Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проб-лемной ситуации. Наличие обратной связи позволяет концентриро-вать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, ис-кусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оцен-ку вариантов, не ограничивая при этом их числа.
Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию сле-дующих шести этапов.
Первый этап - формирование группы участников «мозговой атаки» (по численности и составу). Оптимальная числен-ность группы участников находится эмпирическим путем: наиболее продуктивными признаны группы в 10-15 человек. Состав группы участников предполагает их целенаправленный подбор: 1) из лиц примерно одного ранга, если участники знают друг друга; 2) из лиц разного ранга, если участники не знакомы друг с другом (в этом случае следует нивелировать каждого из участников при-своением ему номера с последующим обращением к участнику по но-меру). Что же касается необходимости специализации участника в области проблемной ситуации, то это условие не является обя-зательным для всех членов группы. Более того, весьма желательно, чтобы в группе были специалисты других областей знания, обладаю-щие высоким уровнем общей эрудиции и понимающие смысл проблем-ной ситуации.
Второй этап - составление проблемной записки участника мозговой атаки. Она составляется группой анализа проб-лемной ситуации и включает описание этого метода и описание проб-лемной ситуации. Данное описание содержит: принцип, на котором основан метод; условия, обеспечивающие наибольшую эффективность «мозговой атаки», авторство результатов атаки; основные правила проведения атаки. Описание проблемной ситуации содержит: причи-ны возникновения проблемной ситуации; анализ причин и возможные последствия возникшей проблемной ситуации (целесообразно гипер-болизировать последствия, с тем чтобы острее ощущалась необходи-мость разрешения противоречий); анализ мирового опыта разрешения подобной проблемной ситуации (если он имеется); классификацию (систематизацию) существующих путей разрешения проблемной ситуа-ции, формулировку проблемной ситуации в виде центрального вопро-са с иерархией подвопросов.
Третий этап - генерация идей. Она начинается с того, что ведущий раскрывает содержание проблемной записки. Предсказывая описание метода, ведущий концентрирует внимание участников на правилах проведения мозговой атаки: 1) высказывания участников должны быть четкими и сжатыми; 2) скептические замечания и критика предыдущих выступлений не допускаются; 3) каждый из участников имеет право выступать много раз, но не подряд; 4) не разрешается зачитывать подряд список идей, который может быть подготовлен участниками заранее. Пересказывая содер-жание проблемной ситуации, ведущий концентрирует внимание участ-ников на основном вопросе. Свое выступление ведущий должен стро-ить таким образом, чтобы пробудить психологическую восприимчи-вость участников, заставить их почувствовать потребность сде-лать то, о чем он их просит. Желаемый отклик участников - воля к целеустремленности мышления, направленного на решение проблем-ной ситуации.
Активная деятельность ведущего предполагается только в на-чале «мозговой атаки». После того как участники достаточно воз-будились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глуб-же охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:
Сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;
Не объявлять ложной, не осуждать и не прекращать исследова-ние ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;
Приветствовать усовершенствование или комбинацию идей, пре-доставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;
Оказывать поддержку и поощрение участникам, столь необходи-мые для того, чтобы освободить их от скованности;
Создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.
Четвертый этап - систематизация идей, выска-занных на этапе генерации. Систематизацию идей группа анализа проблемной ситуации осуществляет в такой последовательности: составляется номенклатурный перечень всех высказанных идей; каждая из идей формулируется в общеупотребительных терминах; определяются дублирующие и дополняющие идеи; дублирующие и (или) дополняющие идеи объединяются и формулируются в виде одной комп-лексной идеи; выделяются признаки, по которым идеи могут быть объединены; идеи объединяются в группы согласно выделенным при-знакам; составляется перечень идей по группам (в каждой группе идеи записываются в порядке их общности: от более общих к част-ным, дополняющим или развивающим более общие идеи).
Пятый этап - деструирование (разрушение, критика) систематизированных идей (специализированная процедура оценки идей на практическую реализуемость в процессе мозговой атаки, когда каж-дая из них подвергается всесторонней критике со стороны участ-ников мозговой атаки).
Основное правило этапа деструирования - рассматривать каждую из систематизированных идей только с точки зрения препятствий на пути к её осуществлению, т.е. участники атаки выдвигают дово-ды, опровергающие систематизированную идею. Особенно ценным яв-ляется то обстоятельство, что в процессе деструирования может быть генерирована контридея, формулирующая имеющиеся ограничения и выдвигающая прещщложение о возможности снятия этих ограничений.
Группа участников мозговой атаки этого этапа состоит из высококвалифицированных специалистов в обсуждаемой области, числен-ность её достигает 20-25 человек, а продолжительность - 1,5 часа. Процесс деструирования продолжается до тех пор, пока каждая из систематизированных идей перечня не подвергнется критике. Высказанные критические замечания и контридеи записываются на магни-тофон.
Шестой этап - оценка критических замечаний и составление списка практически применимых идей. Реализацию этапа осуществляет группа анализа проблемной ситуации:
1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.
2. Составляется сводная таблица этапов систематизации и деструирования идей, а также список показателей практической применимости идей (эти показатели в каждом конкретном случае специфичны и зависят от конкретной проблемной ситуации). Первая графа таблицы - результаты этапа систематизации идей; вторая - критические замечания, опровергающие идеи; третья - показатели практической применимости идей; четвертая - контридеи, высказанные на этапе деструирования.
3. Оценивается каждое критическое замечание и контридея:
а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;
б) не вычеркивается, если оно не опровергается ни одним показателем.
4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.
Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь комп-ромиссов, когда единое мнение нельзя считать результатом беспри-страстного анализа проблемы.
Дельфийский метод . В последние два де-сятилетия созданы отдельные методики, позволяющие в определенной мере организовать статистическую обработку мнений экспертов-специалистов и достигнуть более или менее согласованного их мне-ния. Метод «Дельфи» - один из наиболее распространенных методов экспертной оценки будущего, т.е. экспертного прогнозирования. Этот метод разработан американской исследовательской корпорацией РЭНД и служит для определения и оценки вероятности наступления тех или иных событий.
Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.
Метод «Дельфи» позволяет обобщать мнения отдельных экспер-тов в согласованное групповое мнение. Ему присущи все недостат-ки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность про-гнозирования.
Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экс-пертов. К таким особенностям относятся: а) анонимность экспер-тов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.
Анонимность заключается в том, что в ходе проведения про-цедуры экспертной оценки прогнозируемого явления, объекта участ-ники экспертной группы неизвестны друг другу. При этом взаимо-действие членов группы при заполнении анкет, полностью устраня-ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.
Использование результатов предыдущего тура опроса заключа-ется в следующем: поскольку групповое взаимодействие осуществля-ется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извле-кает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функциони-рования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возмож-ность группе специалистов концентрировать свои усилия на перво-начальных задачах, а не предполагать каждый раз что-то новое.
Статистическая характеристика группового ответа заключается в том, что группа специалистов составляет прогноз, содержащий точку зрения только большинства экспертом, т.е. такую точку зре-ния, с которой могло бы согласиться большинство группы. Однако вряд ли может существовать какой-либо показатель степени разли-чия мнений, которые могли существовать у членов группы. Вместо этого в методе «Дельфи» используются статистические характерис-тики ответа, который включает мнение всей группы. Каждый ответ внутри группы учитывается при построении медианы, а величина разброса ответов характеризуется величиной интервала между квар-тилями. Иными словами, групповой ответ может быть представлен в виде медианы и двух квартилей, т.е. в виде такого числа, оцен-ки которого одной половиной членов группы были больше этого чис-ла, а другой половиной - меньше. Метод «Дельфи» дает возможность эффективно взаимодействовать членам жюри, хотя результаты этого взаимодействия и контролируются руководителем группы путем суммирования аргументов. Члены жюри изменяют свои оценки именно тогда, когда убедительны доводы их коллег, а противном случае они упорно придерживаются своих противоположных точек зрения.
Метод «Дельфи» осуществим и эффективен при получении преиму-ществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство труднос-тей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.
В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество свя-занных и переходящих друг в друга путей развития.
Представив прогноз научно-технических сдвигов как Д 1 , Д 2 , …, Д n , а соответствующие им вероятности как Р 1 , Р 2 , …, Р n и по-лагая Р 1 =100% , находят изменения значений Р 2 , …, Р i , …, Р n .
При введении перекрестной корреляции значения каждого собы-тия за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего со-ответствия модели реальным условиям в модель могут быть введены элементы случайности.
Сущность методов экспертных оценок для разра-ботки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прог-нозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).
I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз-вития данной отрасли. Количество экспертов, привлекаемых для раз-работки прогноза, может колебаться от 10 до 150 человек, в зави-симости от сложности объекта.
II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не-обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред-ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости-жения цели. При этом направления научных исследований и разрабо-ток не должны пересекаться друг с другом.
III. Разработка анкеты. Заключается в раз-работке вопросов, которые будут предложены экспертам. Форма воп-роса может быть разработана в виде таблиц, но содержание их долж-но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур-но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.
При проведении опроса экспертов необходимо обес-печить однозначность понимания отдельных вопросов, а также неза-висимость суждений экспертов.
IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс-пертных оценок, которые характеризуют обобщенное мнение и сте-пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.
Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:
1)метод простой ранжировки (или метод предпочтения);
2)метод задания весовых коэффициентов;
3)метод парных сравнений;
4)метод последовательных сравнений.
Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два - следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.
Таблица 2.1 Экспертные оценки признаков (направлений исследований)
Порядок предпочтения данного признака перед другими.
Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S j j-го признака:
где m kj - количество экспертов, оценивающих j-й признак (m k m);
i - номер эксперта; i = 1,…,m;
j - номер признака, j = 1,2,…,n.
Определяется средний ранг каждого признака. Чем меньше величина S j , тем больше важность этого признака.
Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации , введенного М. Кендаллом.
Определяется средний ранг совокупности признаков:
Вычисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:
Определяется число одинаковых рангов, назначенных экспертами j-му признаку - t q .
Определяется количество групп одинаковых рангов - Q. Определяется коэффициент конкордации по формуле:
,(2.4)
,(2.5)
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии - нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.
По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти - противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.
Достоинства метода простой ранжировки:
1) сравнительная простота процедуры получения оценок;
2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.
Недостаток же его в том, что:
1) заведомо считают распределение оценок равномерным;
2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.
Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:
1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным - коэффициенты, равные долям этого числа.
Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 - 2.5).
Метод последовательных сравнений заключается в следующем:
1) эксперт упорядочивает все признаки в порядке уменьшения их значимости: А 1 > A 2 >…> A n ;
2) присваивает первому признаку значение, равное единице: A 1 =1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3) сравнивает значение первого признака с суммой всех последующих.
Возможны три варианта:
A 1 >A 2 + A 3 + … + A n
A 1 = A 2 + A 3 + … + A n
A 1 < A 2 + A 3 + …+ A n
Эксперт выбирает наиболее соответствующий, по его мнению, вариант и приводит в соответствие с ним оценку первого события;
4) сравнивает значение первого признака с суммой всех последующих за вычетом самого последнего признака.
Приводит оценку первого признака в соответствие с выбранным из трех вариантов неравенством:
A 1 > A 2 + A 3 + … + A n-1
A 1 = A 2 + A 3 + … + A n-1
A 1 < A 2 + A 3 + … + A n-1
5) процедура повторяется до сравнения A 1 с A 2 + A 3.
После того как эксперт уточнил оценку первого признака в соответствии с выбранным им неравенством из трех возможных:
A 1 > A 2 + A 3
A 1 < A 2 + A 3
он переходит к уточнению оценки второго признака A 2 по той же схеме, что и в случае первого, т.е. сравнивается оценка второго признака с суммой последующих.
Преимущество его состоит в том, что эксперт в процессе оценивания признаков сам анализирует свои оценки. Вместо назначения коэффициентов возникает творческий процесс создания этих коэффициентов.
Недостатки метода таковы:
1) сложность его; неподготовленный эксперт будет с трудом справляться с этой процедурой; вместо того, чтобы уточнять свои первоначальные оценки, он будет путаться в них;
2) громоздкость; на оценку одного и того же набора признаков он требует в четыре раза больше операций, чем метод простой ранжировки (другими словами, для одной и той же работы нужно в четыре раза больше экспертов).
Метод парных сравнений
Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.
Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.
Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй - результат сравнения первого признака со вторым, в третьей - результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором - единицу, в третьей - сравнение второго признака с третьим и т.д.
Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:
После ряда математических преобразований мы получаем оценки каждого признака А 1 , А 2 , … ,А n с точки зрения данного эксперта. Суммарные оценки признаков получаются путем идентичной обработки суммарной матрицы, каждый элемент которой есть сумма сравнений признаков, данных всеми экспертами.
Суммарная матрица имеет вид
m - число экспертов, оценивающих данный набор признаков;
- оценки соответственно 1, 2, …, j, …, m экспертов;
Суммарные оценки, данные всеми экспертами.
Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.
Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.
В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:
, (2.6)
где- коэффициент компетентности эксперта;
Коэффициент степени знакомства эксперта с обсуждаемой проблемой;
Коэффициент аргументированности.
Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:
0 - эксперт не знаком с вопросом;
1,2,3 - эксперт плохо знаком с вопросом, но вопрос входит в сферу его интересов;
4,5,6 - эксперт удовлетворительно знаком с вопросом, не принимает непосредственного участия в практическом решении вопроса;
7,8,9 - эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;
10 - вопрос входит в круг узкой специализации эксперта.
Эксперту предлагается самому оценить степень своего знакомства с вопросом и подчеркнуть соответствующий балл. Затем этот балл умножается на 0,1, и получаем коэффициент.
Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.
Определив коэффициент компетентности, умножают на него значение оценок экспертов.
Таблица 2.2 Значения коэффициента аргументированности
Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .
Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .
Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.
1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.
2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.
В анкете могут использоваться следующие типы вопросов:
открытые – ответы на данные вопросы могут быть сформулированы в любой форме;
закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.
Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа
3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.
Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.
Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.
Процедура многокритериального выбора включает в себя следующие этапы:
Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;
Определение способа количественной оценки показателей;
Определение допустимых границ изменения показателей;
Выбор метода поиска наилучшего варианта;
Решение задачи и анализ результатов.
В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:
или
,
(2.18)
где
-
весовые коэффициенты, характеризующие
значимость критерия
.
Численные значения
определяются экспертами, при этом,
желательно соблюдение следующего
условия:
.
(2.19)
Если
критерии
имеют различные единицы измерения, то
их необходимо привести к единому
безразмерному масштабу так, чтобы
выполнялись следующие неравенства:
(2.20)
(2.21)
Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:
валовый внутренний (региональный) продукт;
уровень занятости населения;
среднемесячная заработная плата.
Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.
Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:
Агропромышленного комплекса;
Предприятий пищевой промышленности;
Отраслей социально-культурной сферы;
Жилищного строительства.
Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.
Таблица 2.2
Результаты экспертной оценки
Таблица 2.3
Ожидаемые значения основных социально-экономических
показателей развития региона
Необходимо определить наиболее целесообразную программу развития региона.
Решение:
Определим значения весовых коэффициентов:
;
;
.
Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:
Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:
Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:
На заключительном этапе определим значение целевой функции для предложенных программ:
Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.
Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.
Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.
1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.
Метод коллективной генерации идей предполагает реализацию следующих этапов:
1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.
2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.
3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.
4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.
5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.
6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.
Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.
2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.
Особенности метода "Дельфи":
а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;
в) статистическая характеристика группового мнения.
3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.
Метод экспертных комиссий может быть организован в одной из следующих форм:
Как показала практика, метод «комиссий» имеет существенные недостатки:
большое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;
нежелание экспертов публично отказываться от ранее высказанных ими мнений;
при работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.
4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.
Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.
Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.
Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.
Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.
Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.
Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.
Основные этапы обработки экспертных оценок:
· определение компетенции экспертов;
· определение обобщенной оценки;
· построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив);
· определение зависимостей между ранжировками;
· оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);
· оценка ошибки исследования;
· построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
· подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).
26. Подбор экспертов и их опрос.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Есть полезный метод "снежного кома" , при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
27. Обработка информации, получаемой от экспертов, проверка ее согласованности и достоверности.
Экспертными оценками называют методы общей группы методов научного исследования, используемых для оценивания сложных систем на качественном уровне.
При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. Поэтому важно при организации экспертных опросов вводить определенные правила и использовать соответствующие методы получения и обработки экспертных оценок.
Алгоритм организации экспертных опросов включает этапы, на которых рассматриваются следующие вопросы:
· проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;
· формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т. п.);
· подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);
· методы обработки экспертных оценок;
· способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, вероятности для заданного диапазона изменений оценок, ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т. п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса;
· варианты интерпретации полученных результатов.
Целесообразность применения того или иного метода определяется характером анализируемой проблемы, используемой информации.
Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать тот или иной метод, начиная от непосредственных численных оценок с использованием шкал и кончая более тонкими методами последовательного сравнения, например, Черчмена-Акоффа.
Процедуры экспертизы
В процессе экспертиз могут возникать погрешности – смещения оценок, вносимые самой процедурой сбора и анализа мнений экспертов. Поэтому специалисты в области экспертных методов большое внимание уделяют разработке надежных правил подготовки и проведения экспертиз. Ниже рассмотрены наиболее существенные правила и этапы проведения экспертиз.
Для подготовки экспертизы должна быть сформирована группа специалистов-организаторов. Эта группа призвана обеспечить условия для эффективной деятельности экспертов, разработать процедуру экспертизы, наиболее соответствующую характеру рассматриваемой проблемы. В задачи группы входит:
· Постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов;
· Разработка процедуры экспертизы;
· Отбор экспертов, проверка их компетентности и формирование групп экспертов:
· Проведение опроса и согласование оценок;
· Формализация полученной информации, ее обработка, анализ и интерпретация.
Численность группы экспертов не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок. Кроме того, на групповые оценки в значительной степени влияла бы оценка каждого эксперта. В то же время при очень большом количестве экспертов оценка каждого из них почти не влияет на групповую оценку. Рост численности экспертной группы не всегда повышает достоверность оценок, потому что зачастую расширение группы экспертов возможно лишь за счет привлечения малоквалифицированных специалистов. С ростом числа экспертов, кроме того, увеличиваются трудности, связанные с обработкой результатов опроса и координацией работы группы.
Перед экспертным опросом должны быть разработаны правила его проведения и организации, содержащие ряд положений, обязательных для всех экспертов. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. К таким условиям относятся:
· Независимость формирования экспертами собственного мнения об оцениваемых событиях;
· Сохранение анонимности ответов;
· Возможность проведения коллективных обсуждений оцениваемых событий;
· Предоставление экспертам требуемой информации.
В зависимости от важности и сложности проблемы и соответственно задач, возлагаемых на группу организаторов, в ее состав включают до пяти – семи человек – специалистов в данной области (областях) знаний, а также специалистов по экспертным методам (социологов, психологов, математиков).
Подготовку экспертизы начинают с постановки проблемы . Для этого, прежде всего, знакомятся с предысторией и состоянием проблемы, устанавливают ее место и значение. После этого проводится предварительный анализ проблемы, уточняются все внешние и внутренние связи, определяются границы включаемого в рассмотрение материала. Для этого организаторы экспертизы выдвигают центральный вопрос, составляющий существо проблемы, а затем «расщепляют» его на подвопросы, при этом ограничивают «поле» рассмотрения лишь теми подвопросами, без ответов на которые нельзя получить ответ на центральный вопрос.
При решении сложных социально-экономических и научно-технических проблем эксперты, представляющие разные отрасли знаний, обращаются к понятиям разных дисциплин. Поэтому необходимо сформулировать основные понятия,. используемые при проведении экспертизы.
В зависимости от целей и задач экспертизы, от подбора участвующих в ней специалистов организаторы экспертизы выбирают метод опроса: индивидуальный или групповой (коллективный), личный (очный) или заочный, устный или письменный.
Независимо от того, идет ли речь об анкете или интервью, в основе опроса лежит вопросник, с помощью которого и осуществляется сбор требуемой информации. Перевод цели и задачи экспертизы на язык вопросов требует от организаторов экспертизы сложной и кропотливой работы, знания различных типов вопросов, умения точно сформулировать их, расположить в определенной последовательности.
Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей экспертизы. Все вопросы анкеты в зависимости от их содержания можно подразделить на три группы: данные о самом эксперте (его возрасте, должности, стаже работы, образовании, научном звании, узкой специализации и т.п.); вопросы по существу исследуемой проблемы; вопросы, позволяющие оценить мотивы, которых придерживался эксперт в своем анализе.
По форме различают вопросы открытые, закрытые и полузакрытые; прямые и косвенные. Вопрос считается открытым (свободным), если ответ на него может быть дан в любой форме и ничем не регламентирован, закрытым – если в его формулировке содержатся варианты возможных ответов, а эксперт должен выбрать один или несколько; полузакрытым, если перечнем предусмотрена возможность любых дополнительных замечаний.
Различают три вида вопросов, по которым дается экспертная оценка, - вопросы, ответы на которые содержат количественную оценку (1), требующие содержательного ответа в сжатой (2) и развернутой (3) форме.
Работа по отбору экспертов, участвующих в экспертизе, обычно начинается с составления списка компетентных в исследуемой области лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Различаются четыре основные группы таких методов: самооценки; оценки группой каждого специалиста; оценка на основе результатов прошлой деятельности эксперта; методы оценки компетентности кандидатов в эксперты.
©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2016-04-27
