Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:

· определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;

· оценки согласованности и зависимости мнений экспертов;

· оценки достоверности полученных расчетных величин.

Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.

Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта j - k maxj , сумма рангов объекта j - S rj . Частота максимально возможных оценок для j - го объекта определяется по формуле:

где m maxj - количество максимально возможных оценок, полученных

j - тым объектом;

m j - количество экспертов, оценивающих j-ый объект исследования.

Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.

Сумма рангов объекта исследования определяется по формуле:

где R ij - ранг оценки j-м экспертом j - го объекта.

Если среди оценок данных j - м экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов по S rj наиболее важным следует считать объект, характеризующийся его наименьшим значением.

Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то есть если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т.д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.

В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирмена или Кендалла), коэффициент конкордации (дисперсионный или энтропийный).

Коэффициент вариации (v j) оценок, данных j- му объекту определяется по формуле:

, (13.3)

где C ij - оценка в баллах i -м экспертом j -го объекта;

M j - среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:

где m j - количество экспертов, оценивающих j - ый объект.

Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.

Коэффициент парной ранговой корреляции Спирмена (Pab) для двух экспертов a и b определяется по формуле:

, (13.5)

где R a j , R b j - ранговые оценки j -го объекта экспертов a и b;

n - количество оцениваемых объектов;

T a ,Tb - показатели связанных (равных) рангов оценок экспертов a и b, вычисляемые следующим образом: если все n рангов оценок, назначенных i-м экспертом различны, то T i =0, иначе для равных рангов:

, (13.6)

где L - количество групп связанных рангов;

t l - количество связанных рангов в l - й группе.

Значение коэффициента P a b = +1 указывает на полную согласованность мнений экспертов a и b; значение P a b = -1 - о полной противоположности мнений экспертов; значение P a b = 0 – об отсутствии связи между мнениями экспертов.

Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности:

вначале вычисляется среднее арифметическое M сумм рангов оценок всех объектов:

, (13.7)

затем вычисляются отклонения d j суммы рангов оценок, полученных j-м объектом от M:

, (13.8)

после этого подсчитываются показатели T i связных (равных) рангов ранговых оценок, назначенных i - м экспертом;

в конечном итоге рассчитывается коэффициент конкордации:

, (13.9)

где m 1 - количество экспертов, оценивших хотя бы один объект.

Коэффициент конкордации изменяется в передлах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.

Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат»c 2 R . Последовательность определения уровня значимости по данному критерию состоит в следующем:

рассчитывается значение c 2 R по формуле

, (13.10)

где m- количество экспертов,

затем вычисляется количество степеней свободы (r= n-1 , где n - количество исследуемых объектов).

По таблице значений c 2 R для определенного числа степеней свободы и найденного значения c 2 R определяется вероятность P случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – P o (обычно P o = 0,05 или 0,01), называемое уровнем значимости. Если P оказывается меньше P o , тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.

Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.

В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i - ой локальной АИСУ, ведущий специалист по разработке i - ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т.п. В свою очередь от специалистов, занимающиихся эксплуатизацией системы, должно быть не менее шести экспертов.

Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i - х локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:

· получены количественно определенные ответы на предлагаемые вопросы;

· получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;

· получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.

В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния i -х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции (C 1t , C 2t ,…., C nt), на часть из которых они могут повлиять.

В качестве примера в табл. 9 приведен перечень пяти задач АИС ОУ по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов,после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.

Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 10, 11). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.

Табл. 11 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл.10.

После этого в клетки табл. 10, отмеченные экспертами знаком «+» заносятся числовые значения соответствующих клеток табл. 11, сумма которых дает коэффициент аргументированности (K ai). Следует отметить, что табл. 11 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:

· значение коэффициента аргументированности K ai < 1.;

· значению K ai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;

· значению K ai = 0,5 соответствует низкая степень влияния на мнение эксперта всех источников аргументации.

Министерство образования и науки России

Марийский Государственный технический университет

Кафедра контроля и производства радиоаппаратуры

на тему: Методы экспертных оценок

Выполнила: ст. гр. БЖД-41

Копылова И.В.

Проверил: проф. каф. КиПР

Скулкин Н.М.

Йошкар-Ола 2012

Введение

Экспертное оценивание

Этапы экспертного оценивания

Виды экспертных оценок

Обработка результатов опроса экспертов

Заключение

Список литературы

Введение

Примеры методов экспертных оценок. Как будет изменяться экономическая обстановка с течением времени? Что будет с окружающей природной средой через десять лет? Как изменится экологическая обстановка? Будет ли обеспечена экологическая безопасность промышленных производств или же вокруг станет простираться рукотворная пустыня? Достаточно вдуматься в эти постановки естественных вопросов, проанализировать, как десять или тем более двадцать лет назад мы представляли себе сегодняшний день, чтобы понять, что стопроцентно надежных прогнозов просто не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее мы, инженеры, должны принимать решения, например, об экологических и иных проектах и инвестициях, последствия которых скажутся через десять, двадцать и т.д. лет. Как быть? Остается обратиться к методам экспертных оценок. Что это за методы?

1. Экспертное оценивание

Экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

Эксперты (от латинского "expertus" - опытный) - это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте. Различают индивидуальные и коллективные экспертные оценки.

Экспертные оценки часто используются при выборе, например:

одного варианта технического устройства для запуска в серию из нескольких образцов,

группы космонавтов из многих претендентов,

набора проектов научно-исследовательских работ для финансирования из массы заявок,

получателей экологических кредитов из многих желающих,

при выборе инвестиционных проектов для реализации среди представленных, и т.д.

2. Этапы экспертного оценивания

1. Постановка цели исследования.

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

·Выбор лучшего варианта решения среди имеющихся.

·Прогнозирование развития процесса.

·Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

·Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.

·Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

·Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2. Выбор формы исследования, определение бюджета проекта.

Существующие виды экспертных оценок можно классифицировать по признакам:

·По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

·По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные.

·По решаемым задачам: генерирующие решения и оценивающие варианты.

·По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

·По способу обработки мнений экспертов: непосредственные и аналитические.

·По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры.

Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4. Подбор экспертов.

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

5. Проведение экспертизы.

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

·Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6. Статистический анализ результатов . После получения ответов экспертов необходимо провести их оценку. Это позволяет:

1)Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).

)Оценить ошибку исследования.

)Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

7. Подготовка отчета с результатами экспертного оценивания.

. Виды экспертных оценок

Методы экспертных оценок можно разделить на две группы:

§методы коллективной работы экспертной группы

§методы получения индивидуального мнения членов экспертной группы.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".

Мозговая атака. Организуется он как собрание экспертов, на выступления которых наложено одно, но очень существенное ограничение - нельзя критиковать предложения других. Можно их развивать, можно высказывать свои идеи, но нельзя критиковать! В ходе заседания эксперты, "заражаясь" друг от друга, высказывают все более экстравагантные соображения. Часа через два записанное на магнитофон или видеокамеру заседание заканчивается, и начинается второй этап мозгового штурма - анализ высказанных идей. Обычно из 100 идей 30 заслуживают дальнейшей проработки, из 5-6 дают возможность сформулировать прикладные проекта, а 2-3 оказываются в итоге приносящими полезный эффект - прибыль, повышение экологической безопасности, оздоровление окружающей природной среды и т.п. При этом интерпретация идей - творческий процесс. Например, при обсуждении возможностей защиты кораблей от торпедной атаки была высказана идея: "Выстроить матросов вдоль борта и дуть на торпеду, чтобы изменить ее курс". После проработки эта идея привела к созданию специальных устройств, создающих волны, сбивающиеся торпеду с курса.

Метод «635» - одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

Деловые игры основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой.

Основным достоинством деловых игр является возможность выработки решения в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы управления. Недостаток заключается в сложности организации деловой игры в условиях, приближенных к реальной проблемной ситуации.

Метод совещаний ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения.

Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей.

Метод комиссий - один из методов экспертных оценок, основанный на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Своеобразным сценарием может быть описание последовательности и условий международной интеграции хозяйства стран, включающее следующие вопросы:

от каких простейших форм к более сложным должен пройти этот процесс;

как он повлияет на национальное хозяйство и экономические связи стран;

каковы финансовые, организационные, социальные, юридические проблемы, которые могут возникнуть в ходе интернационализации хозяйства.

Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней дерева целей, приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Сценарий должен быть написан так, чтобы после ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических задач на прогнозный период.

Он обычно носит многовариантный характер и освещает три линии поведения:

оптимистическую - развитие системы в наиболее благоприятной ситуации;

пессимистическую - развитие системы в наименее благоприятной ситуации;

рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Метод суда является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса.

В роли "подсудимых" выступают выбираемые варианты решения;

в роли "судей" - лица, принимающие решение;

в роли "прокуроров" и "защитников" - члены экспертной группы.

Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.

Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод «Дельфи». Цель - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта. Особенности метода Дельфи:

а) анонимность экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

Этот метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер. Наши специалисты, работающие в области научно-технического прогнозирования, также разрабатывают методы обработки экспертных оценок. Они носят название эвристических.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

. Обработка результатов опроса экспертов

экспертный коллективный индивидуальный опрос

Перейдем к рассмотрению процедур, выполняемых на этапе обработки результатов опроса.

На базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При обработке индивидуальных оценок экспертов используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности решаемой проблемы, формы, в которой представлены мнения экспертов, целей экспертизы.

Чаще всего при обработке результатов опроса используются методы математической статистики.

В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

·формирование обобщенной оценки;

·определение относительных весов объектов;

·установление степени согласованности мнений экспертов и др.

1)Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда xj - оценка j-го эксперта, , где m - число экспертов.

Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (ME), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

Может использоваться также точечная оценка для группы экспертов, вычисляемая как среднее арифметическое:

2)Определение относительных весов объектов

Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора.

Один из методов определения весов состоит в следующем. Пусть xij - оценка фактора i, данная j-ым экспертом, , , n - число сравниваемых объектов, m - число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (wi), равен:

где wij - вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

3)Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики - меры разброса.

Вариационный размах (R):

Xmax - xmin,

где xmax - максимальная оценка объекта;min - минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

где xj - оценка, данная j-ым экспертом;- количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x1j, x2j, …, xnj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

где xij - ранг, присвоенный i-му объекту j-ым экспертом;ik - ранг, присвоенный i-му объекту k-ым экспертом;i - разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от -1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации - общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

Заключение

Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения. Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков. Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок. Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

Список литературы

1Орлов А.И. Экспертные оценки. // Заводская лаборатория. ? 1996. ? Т. 62. ? №1. ? С. 54-60.

2Орлов А.И. Экспертные оценки. Учеб. пособие. - М.: 2002.

Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. Учеб. пособие. - М.: Экономика, 1976. ? 287 с.

Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978. ? 133 с.

Менеджмент. Учеб. пособие. / Под ред. Ж.В. Прокофьевой. - М.: Знание, 2000. - 288 с.

Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. - М.: Наука, 1973. - 79 с.

Статистические методы анализа экспертных оценок. - М.: Наука, 1977. - 384 с.

Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука, 1981. - 487 с.

Литвак Б.Г.Экспертные оценки и принятие решений. - М.: Патент, 1996.

Характеристики методов экспертных оценок [Электронный ресурс]: #"justify">Экспертное оценивание. / Википедия. [Электронный ресурс]: #"justify">Экспертные оценки. // StatSoft: SPC Consulting. [Электронный ресурс]: http://www.spc-consulting.ru/app/expert.htm

Репетиторство

Нужна помощь по изучению какой-либы темы?

Наши специалисты проконсультируют или окажут репетиторские услуги по интересующей вас тематике.
Отправь заявку с указанием темы прямо сейчас, чтобы узнать о возможности получения консультации.

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.

В процессе решения проблем эксперты выполняют роль генератора идей, событий и явлений, решений, определения признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. и измерителя их характеристик (измерения достоверности событий и гипотез, важности целей, значений признаков и показателей, предпочтений решений).

Все множество проблем можно условно подразделить на два больших класса: с достаточным и недостаточным информационным потенциалом. Это означает, что для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. На основании этого обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному. В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители.

Применение методов осреднения, допустимых для «хороших измерителей», в данном случае может привести к значительным ошибкам, так как мнение одного эксперта, существенно отличающееся от мнения других экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка результатов экспертного оценивания.

Подбор экспертов

Взависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение (ЛПР), или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Выполняя работу по подбору экспертной группы, требуется решать следующие задачи:

• уяснение решаемой проблемы;
• определение перечня областей деятельности, связанных с решаемой проблемой;
• определение долевого состава экспертов по каждой области деятельности;
• определение количества и предварительного состава экспертов в группе;
• анализ квалификации экспертов и уточнение списка экспертов в группе;
• получение согласия экспертов на участие в работе;
• составление окончательного списка состава экспертов.

При подборе экспертов представители группы управления руководствуются следующими основными требованиями, предъявляемыми к эксперту.

Компетентность - степень квалификации эксперта в определенной области знаний, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализам предыдущей деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, пониманием проблем и перспектив развития.

Креативность - это способность решать творческие задачи.

Конформизм - это подверженность влиянию авторитетов.

Конструктивность мышления - это способность формировать решения, обладающие свойством практичности (прагматизм).

Коллективизм - этика поведения человека в коллективе, влияние на создание положительного психологического климата и тем самым на успешное решение проблемы.

Самокритичность эксперта проявляется при самооценке своей компетентности.

Отношение к экспертизе - негативное или пассивное отношение к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций, поэтому участие в экспертизе должно рассматриваться как плановая работа. Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. В настоящее время указанные характеристики в основном оцениваются на качественном уровне.

Опрос экспертов

Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Основными видами опроса экспертов являются: анкетирование и интервьюирование, дискуссии, метод «мозгового штурма» («мозговой атаки»), метод Дельфы.

Главным в организации опроса экспертов является создание таких условий, при которых эксперты были бы обеспечены в максимальной степени всей необходимой информацией и могли бы в полной мере проявить свою творческую активность и самостоятельность. В связи с этим группе управления следует предоставлять экспертам возможность ведения записей, использования технических средств (в том числе и ЭВМ), а также в случае необходимости организовывать предварительную обработку полученной информации и представление ее экспертам в наиболее наглядной форме. На определенных этапах экспертного оценивания общение экспертов является нежелательным, так как это может привести к утрате самостоятельности, независимости в своих суждениях и оценках каждого эксперта, повлиять на его творческую активность. Поэтому организаторы проведения экспертизы в этом случае должны находить разумный компромисс прежде всего путем выбора вида (метода) опроса, формы и степени общения экспертов.

Выбор того или иного метода опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса.

Рассмотрим содержание и технологию проведения перечисленных выше видов опроса.

АНКЕТИРОВАНИЕ

Анкетирование представляет собой опрос экспертов с помощью анкет, на вопросы которых они должны дать ответы в письменной форме, либо с использованием технических средств. Вопросы, содержащиеся в анкетах, можно классифицировать по содержанию и по типу.

• объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т. п.);
• основные вопросы по сути анализируемой проблемы;
• дополнительные вопросы, позволяющие выяснить источники ин-формации, аргументацию ответов, самооценку компетентности эксперта и т. п.

По типу вопросы делятся на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Это позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является возможное большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.

Закрытые вопросы - это вопросы, на которые возможны следующие варианты ответов: «да», « нет», « не знаю». Закрытые вопросы применяются в случае рассмотрения четко определенных двух альтернативных вариантов, когда требуется определить степень большинства мнений по этим альтернативам.

Вопрос с веером ответов дает возможность эксперту выбрать один из предлагаемых ответов. Их целесообразно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируются для ориентации экспертов по возможному кругу направлений в решении проблемы.

ИНТЕРВЬЮИРОВАНИЕ

Это устный опрос, проводимый в форме беседы-интервью. Интервью с экспертом проводится членом группы управления и является по сути беседой, в которой ответы на заранее разработанные вопросы даются в устной форме. Естественно, качество ответов в этом случае снижается, ибо у эксперта меньше времени на их обдумывание, хотя при такой форме общения может быть получен оригинальный взгляд на решаемую проблему. Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать.

МЕТОД ДЕЛЬФЫ

Представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. В первом туре опроса дельфийским методом экспертам предлагаются вопросы, на которые они дают ответы без аргументации. Полученные от экспертов данные обрабатываются с целью выделения среднего и крайних значений оценок. Результаты обработки первого тура сообщаются экспертам. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.

Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Результаты обработки второго тура содержат новые средние и крайние оценки, если производилась корректировка оценок первого тура. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения с пояснением причин этого. Проведение последующих туров - по аналогичной схеме. Обычно проводятся три-четыре тура, после которых ответы приобретают устойчивый характер и не содержат каких-либо изменений.

При проведении опроса по методу Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение подавления мнений экспертов за счет научного авторитета или должностного положения других экспертов.

ДИСКУССИЯ

Дискуссию целесообразно проводить для решения тех задач, которые не требуют точной количественной оценки объектов, параметров, альтернатив. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.

Дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявления позиций и интересов участников. В ходе дискуссии разрешается критика. Дискуссия может продолжаться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Во время перерывов дискуссия продолжается. Поэтому перерывы следует делать не слишком короткими, так как кулуарные обсуждения дают положительный эффект.

Группа управления производит анализ и обработку результатов дискуссии и всех материалов, связанных с проблемой, и оформляет результаты дискуссии в виде практических рекомендаций по решаемой проблеме.

МОЗГОВАЯ АТАКА (ШТУРМ)

Представляет собой групповое обсуждение с целью генерации новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов в ходе заседания (сеанса) запрещается какая- либо критика высказываемых идей, которые на первый взгляд кажутся даже нелепыми и возможно нелогичными.

Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. В начале сеанса ведущий объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Образуются две разные группы: группа генераторов идей и группа аналитиков. Представители первой группы не обязательно должны быть высококвалифицированными специалистами в рассматриваемой области и хорошо понимать поставленную задачу. Желательно, чтобы состав приглашенных специалистов был достаточно представительным и включал людей с большим опытом, широкой эрудицией и богатой фантазией.

Сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты, которые могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых идей и развивать ранее выдвинутые идеи. Идеи и предложения должны быть конструктивные, направлены на решение проблемы. В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

На втором этапе реализации рассматриваемого метода осуществляется анализ и критика высказанных во время сеанса идей, точек зрения, мыслей и отбор наиболее ценных, перспективных и реальных решений. Данный анализ проводится группой специалистов, с привлечением технических средств и осуществлением количественного анализа, что позволяет углубить его, сделать получаемые результаты более объективными и разносторонними.

Обработка экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:

• определение компетентности экспертов и обобщенной оценки объектов,
• построение обобщенной ранжировки объектов;
• определение согласованности мнений экспертов;
• определение зависимостей между ранжировками.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

АЛТАЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Экономический факультет

Кафедра антикризисного управления, оценки бизнеса и инноваций

МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

(курсовая работа)

Выполнила студентка

3 курса, группа 277

Стрекалова С.Б.

Работа защищена

Барнаул – 1999

Введение 3

Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ 5

1.1. Роль экспертов в управлении 5

1.2. Метод экспертных оценок 7

1.3. Организация экспертного оценивания 9

1.4. Подбор экспертов 9

1.5. Опрос экспертов 10

Глава 2. ФОРМАЛИЗАЦИЯ ИНФРОРМАЦИИ

И ШКАЛЫ СРАВНЕНИЙ 12

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК 16

3.1. Задачи обработки 16

3.2. Групповая оценка объектов 17

3.3. Оценка согласованности мнений экспертов 22

3.4. Обработка парных сравнений объектов 25

3.5. Определение взаимосвязи ранжировок 27

Заключение 31

Список литературы 32

ВВЕДЕНИЕ

Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства.

Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности. В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ­кое применение в социально-политическом и научно-тех­ническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных про­грамм, в решении отдельных проблем управления.

В ходе развития общественного производства возрастают не только сложность управления, но и требования к качеству принимаемых решений. Для того, чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях руководителей и специалистов, знакомых с состоянием дел и перспективами развития в различных областях практической деятельности. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.

Целью нашей работы является изучение метода экспертных оценок - одного из важнейших этапов принятия грамотных управленческих решений.

1) изучение роли экспертизы в управлении;

2) рассмотрение порядка организации экспертного оценивания;

3) изучение видов шкал и порядка их использования;

4) подробное рассмотрение заключительного этапа экспертного оценивания – обработки экспертных оценок.

Реферат состоит из введения, трех глав, заключения и списка использованной литературы.

В первой главе рассматривается вопрос о необходимости экспертизы в управлении, рассмотрен метод экспертных оценок, этапы организации экспертного оценивания.

Вторая глава посвящена рассмотрению шкал сравнений, даны характеристики каждому виду шкал и порядок их использования при формализации информации.

В третьей главе рассматривается обработка экспертных оценок: задачи обработки, групповая оценка объектов, оценка согласованности мнений экспертов, обработка парных сравнений объектов и определение взаимосвязи ранжировок.

Так как целью данной работы является рассмотрение экспертного оценивания в теоретическом аспекте, то практическое применение не рассматривается.

В заключении рассматривается роль метода экспертных оценок в принятии управленческих решений.

Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ

1.1. Роль экспертов в управлении

Современное общество развивается под постоянно усиливающимся воздействием научно-технической революции, которая вызывает коренные преобразования в производстве, глубокие изменения в структуре и экономике народного хозяйства. Происходящая научно-техническая революция по своему влиянию далеко выходит за пределы сферы материального производства, захватывая все стороны жизнедеятельности общества, предопределяя большинство решений, направленных на его рациональное экономическое и социальное развитие.

История развития науки, техники и производства показывает, что одновременно с последовательным замещением функций человека функциями машин увеличивается его роль в сфере управления. Непрерывный рост объема затрат на развитие науки, на создание новой техники и совершенствование производства существенно повышает значимость решений, принимаемых на всех уровнях управления народным хозяйством. Будущее науки. Техники и экономики в значительной мере зависит от качества и своевременности этих решений, а объективные тенденции научно-технического прогресса могут ускоряться или замедляться под их воздействием.

Особое значение в управлении сейчас приобретают методы оптимизации, основанные на применении формальных, чаще всего математических моделей, обеспечивающих экономию времени и средств при решении многих практических задач. Построение моделей помогает привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решений, в логически стройную схему, определить, какие данные необходимы для оценки и выбора альтернатив.

В процессе управления возникает естественное стремление к отысканию решения, которое объективно является наилучшим из всех возможных. В качестве инструмента оптимизации сейчас широко используется математическое программирование. Успехи в применении математического программирования к решению различного рода хозяйственных, научных, технических и военных задач породили методологические воззрения, согласно которым кардинальное решение проблем управления возможно только тогда, когда все его аспекты отображаются в системе взаимосвязанных математических моделей.

Однако, формализация технико-экономических и управленческих решений осложняется рядом особенностей современного этапа научно-технического прогресса. Жизнь общества настолько сложна, что трудно рассчитывать на появление моделей, которые полностью отражали бы природу и количественные взаимосвязи социально-экономических процессов. Реальная действительность всегда сложнее самых тонких математических моделей, а ее развитие часто опережает формальное познание. Задачи управления требуют в качестве неотъемлемого элемента решения участия людей. И, наконец, сам процесс управления всегда предполагает ориентацию не только на числовые данные, но и на обычный здравый смысл. Использование математического программирования и вычислительной техники позволяет принимать решения, основанные на более полной и надежной информации. Но, несомненно и то, что при любых условиях для выбора рационального решения требуется нечто большее, чем хорошая математическая модель.

Принимая решения, мы обычно предполагаем, что информация, используемая для их обоснования, достоверно и надежна. Но для многих экономических и научно-технических задач, являющихся по своему характеру качественно новыми и неповторяющимися, это предположение либо заведомо не реализуется, либо в момент принятия решения его не удается доказать.

Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины, например, предположения о возможных решениях и их результатах. Практика показывает, что основные трудности, возникающие при поиске и выборе деловых решений, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся информации.

Основные трудности, связанные с информацией, возникающие при выработке сложных решений, можно подразделить на следующие группы.

Во-первых, исходная статистическая информация зачастую бывает недостаточно достоверной.

Во-вторых, некоторая часть информации имеет качественный характер и не поддается количественной оценке. Так, нельзя точно рассчитать степень влияния социальных и политических факторов на реализацию планов, оценить экономический эффект будущих изобретений и т.д. Но, поскольку эти факторы и явления оказывают существенное влияние на результаты решений, их нельзя не учитывать.

В-третьих, в процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств.

В-четвертых, существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

В-пятых, одна из наиболее существенных трудностей при выборе решений состоит в том, что любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации, а любое экономическое действие может приводить к многочисленным исходам. Проблема выбора наилучшего варианта решения может возникнуть и потому, что обычно существуют ограничения в ресурсах, а следовательно, принятие одного варианта всегда связано с отказом от других решений.

В-шестых, при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов. Многозначность, многомерность и качественное различие показателей являются серьезным препятствием для получения обобщенной оценки относительной эффективности, важности, ценности или полезности каждого из возможных решений.

В связи с этим одна из главных особенностей решения сложных проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых, специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Закономерность развития науки и техники состоит в том, что новые знания, научно-техническая информация накапливаются в течение длительного периода времени. Нередко это накопление идет в скрытой форме в сознании ученых и разработчиков. Они, как никто другой, способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют.

Опыт показывает, что использование несистематизированных суждений отдельных специалистов оказывается при решении многих сложных научных и технических проблем недостаточно эффективным вследствие многообразия взаимосвязей между основными элементами таких проблем и невозможности охвата их всех. При использовании традиционных процедур подготовки решений нередко не удается рассмотреть широкий диапазон факторов, учесть весь спектр альтернативных путей решения проблем.

Все это заставляет прибегать к комплектованию групп специалистов, представляющих в качестве экспертов различные области знаний. Применение групповой экспертизы позволяет не только рассмотреть множество аспектов и факторов, но и объединить различные подходы, с помощью которых руководитель находит наилучшее решение.

1.2. Метод экспертных оценок

Сущность метода экспертных оценок заключается в про­ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор­мальной обработкой результатов. Получаемое в резуль­тате обработки обобщенное мнение экспертов принима­ется как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мыш­ления и количественных оценок с их формальной обра­боткой позволяет получить эффективное решение проб­лемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (ве­роятности свершения событий, коэффициенты значимо­сти целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логиче­ского мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характери­стик объектов требует от экспертов знания теории изме­рений.

Характерными особенностями метода экспертных оце­нок как научного инструмента решения сложных нефор­мализуемых проблем являются, во-первых, научно обо­снованная организация проведения всех этапов экспер­тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение ко­личественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно из­вестной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использо­вались в государственном масштабе для решения слож­ных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реоргани­зации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки ши­рокого круга специалистов.

В настоящее время в нашей стране и за рубежом ме­тод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные ко­миссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем услов­но можно разделить на два класса. К первому классу относятся проблемы, вотношении которых имеется до­статочный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информаци­онного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема ра­ционально обработанной информации, и поэтому он мо­жет рассматриваться как качественный источник инфор­мации;

2) групповое мнение экспертов близко к истинному ре­шению проблемы.

Если эти гипотезы верны, то для построения проце­дур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической стати­стики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающее­ся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработ­ка.

Область применения метода экспертных оценок весь­ма широка. Перечислим типовые задачи, решаемые ме­тодом экспертных оценок:

1) составление перечня возможных событий в различ­ных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов време­ни свершения совокупности событий;

3) определение целей и задач управления с упорядоче­нием их по степени важности;

4) определение альтернативных (вариантов решения за­дачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в опре­деленной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоя­щее время применяются различные разновидности мето­да экспертных оценок. К основным видам относятся: ан­кетирование и интервьюирование; мозговой штурм; дис­куссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обла­дает своими преимуществами и недостатками, определя­ющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное примене­ние нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивиду­альную работу эксперта. Интервьюирование может осу­ществляться как индивидуально, так и с группой экспер­тов. Остальные виды экспертизы предполагают коллек­тивное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в ра­боте целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок воз­никают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обра­ботка результатов опроса, организация процедур экспер­тизы.

1.3. Организация экспертного оценивания

Первым этапом организации работ по применению экс­пертного оценивания является подготовка и издание ру­ководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы:постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руко­водства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управ­ления и ответственность за организацию ее работы.

После формирования группа управления осуществля­ет работу по подбору экспертной группы примерно в та­кой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного спи­ска экспертов с учетом их местонахождения; анализ ка­честв экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы об­работки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экс­пертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответст­вии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления яв­ляется оформление результатов работы. На этом этапе производится анализ результатов экспертного оценива­ния; составление отчета; обсуждение и одобрение ре­зультатов; представление итогов работы на утвержде­ние; ознакомление с результатами экспертизы организа­ций и лиц.

1.4. Подбор экспертов

Для реализации процедуры экспертного оценивания не­обходимо сформировать группу экспертов. Общим тре­бованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффектив­ность решения проблемы определяется характеристика­ми достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экс­пертов как раз и обусловлено тем, что отсутствуют ка­кие-либо другие способы получения информации. Поэто­му оценка достоверности экспертизы может осуществ­ляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления ста­тистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки до­стоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов является еще одной пробле­мой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, сущест­венно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация процеду­ры подбора экспертов, т.е. определение четкой последо­вательности работ, выполняемых в процессе подбора экс­пертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив за­висимость между достоверностью, количеством экспер­тов и расходами на оплату, группа управления представ­ляет руководству эту информацию и формулирует воз­можные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего вы­полнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов яв­ляется составление предварительного списка экспертов. При составлении этого списка проводится анализ ка­честв экспертов. Кроме учета качеств экспертов, опреде­ляются их местонахождение и возможности участия вы­бранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандида­тов в эксперты.

После составления списка экспертов им направляют­ся письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления состав­ляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав эксперт­ной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высы­лается анкета с необходимыми инструкциями для их за­полнения. Сообщением экспертам о включении их вэкс­пертизу заканчивается работа по подбору экспертов.

1.5. Опрос экспертов

Опрос – главный этап совместной работы группы управ­ления и экспертов. Основным содержанием опроса явля­ется:

Постановка задачи и предъявление вопросов экспер­там;

Информационное обеспечение работы экспертов;

Выработка экспертами суждений, оценок, предложе­ний;

Сбор результатов работы экспертов.

Можно назвать три типа задач, которые решаются в процессе опроса:

Оценка качественная или количественная заданных объектов;

Построение новых объектов;

Построение и оценка новых объектов.

При коллективной экспертизе используются следую­щие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.

Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспер­тов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

Главным в организации опроса является обеспечение максимума информации и максимума творческой актив­ности, самостоятельности эксперта. Необходимо стре­миться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому яв­лению, которой располагают как эксперты, так и орга­низаторы опроса, не лишая в то же время эксперта твор­ческой самостоятельности и активности.

Однако возможности эксперта по переработке инфор­мации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается чело­веком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она пред­ставляется в доходчивой, яркой и компактной форме.

Из этих психологических особенностей следует необ­ходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения за­писей, использования технических средств, а также не­обходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой не­зависимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невоз­можно, и при каждой экспертизе ее организаторы долж­ны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспер­тов.

Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многи­ми факторами, из которых основными являются:

Цель и задачи экспертизы;

Существо и сложность анализируемой проблемы;

Полнота и достоверность исходной информации;

Требуемые объем и достоверность информации, полу­чаемой в результате опроса;

Время, отведенное на опрос и экспертизу в целом;

Допустимая стоимость опроса, и экспертизы в целом;

Количество экспертов и членов группы управления, их характеристики.

Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспече­ние экспертов с их самостоятельным творчеством.

Глава 2. ФОРМАЛИЗАЦИЯ ИНФОРМАЦИИ И ШКАЛЫ СРАВНЕНИЙ

Рациональное использование информации, полученной от экспертов, возможно при условии образования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Возможности формализации информации зависят от специфических особенностей исследуемого объекта, надежности и полноты имеющихся данных, уровня принятия решения. Форма представления экспертных данных зависит и от принятого критерия, на выбор которого, в свою очередь, существенное влияние оказывает специфика исследуемой проблемы.

Формализация информации, полученной от экспертов, должна быть направлена на подготовку решения таких технико-экономических и хозяйственных задач, которые не могут быть в полной мере описаны математически, поскольку являются «слабоструктуризованными», т.е. содержат неопределенности, связанные не только с измерением, но и самим характером исследуемых целей, средств их достижения и внешних условий.

При анализе перспектив необходимо не только представить в виде косвенных оценок часть информации, не поддающуюся количественному измерению, и не только выразить с помощью таких оценок количественно измеримую информацию, о которой в момент подготовки решения нет достаточно надежных данных. Самое важное – формализовать эту информацию так, чтобы помочь принимающему решение выбрать из множества действий одно или несколько, наиболее предпочтительные в отношении некоторого критерия.

Если эксперт в состоянии сравнить и оценить возможные варианты действий, приписав каждому из них определенное число, значит, он обладает определенной системой предпочтений. В зависимости от того, по какой шкале могут быть заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к формализации.

Исследуемые объекты или явления можно опознавать или различать на основе признаков или факторов. Фактор – это множество, состоящее, по крайней мере, из двух элементов, отражающих различные уровни некоторых подлежащих рассмотрению величин. Уровень одних факторов может быть выражен количественно (в рублях, процентах, килограммах и т.д.) – такие факторы называются количественными. Уровень других нельзя выразить с помощью числа, их называют качественными.

Факторы условно разделяют на дискретные и непрерывные. Дискретными являются факторы с определенным, обычно небольшим, числом уровней. Факторы, уровни которых рассматриваются как образующие непрерывное множество, называют непрерывными. В зависимости от целей и возможностей анализа одни и те же факторы могут трактоваться или как дискретные, или как непрерывные.

Рассмотрим основные логические аксиомы, которые используются в эксперных методах при формализации информации с помощью различных шкал.

При использовании номинальных шкал исследуемые объекты можно опознавать и различать на основе трех аксиом идентификации :

1) i либо есть j , либо есть не j ;

2) если i естьj , то j есть i ;

3) если i естьj и j есть k , то i есть k .

Факторы в данном случае выступают как ассоциативные показатели, обладающие информацией, которая может быть формализована в виде бинарных оценок двух уровней: 1 (идентичен) или 0 (различен).

В случаях, когда исследуемые объекты можно в результате сравнения расположить в определенной последовательности с учетом какого-либо существенного фактора (факторов), используются порядковые шкалы , позволяющие устанавливать равноценность или доминирование.

Предположим, что необходимо расположить в определенной последовательности n объектов по какому-либо фактору (критерию). Представим это упорядочение в виде матрицы где i, j = 1,2,…, n .

Величины устанавливают соотношения между объектами и могут быть определены следующим образом :

Установим основные аксиомы, необходимые для соблюдения условий упорядочения. Соотношение означающее, что i предпочтительнее j , должно быть ассиметричным, т.е., если то и транзитивным, т.е., если то

Соотношение означающее, что i и j равноценны, называется соотношением эквивалентности. Такое соотношение должно быть

рефлексивным, т.е.

симметричным, т.е., если то

транзитивным, т.е., если и то

Кроме того, эти два соотношения должны быть совместимы, т.е., если и то а также, если и то

И, наконец, упорядочение должно быть связным, т.е. для любых i и j или или или

Использование порядковых шкал позволяет различать объекты и в тех случаях, когда фактор (критерий) не задан в явном виде, т.е. когда мы не знаем признака сравнения, но можем частично или полностью упорядочить объекты на основе системы предпочтений, которой обладает эксперт.

Любое множество A будем называть упорядоченным, если для любых двух его элементов X и Y установлено, что, либо X предшествует Y , либо Y предшествует X . Иногда не удается установить строгое предшествование для всех элементов множества, но можно произвести «групповое» упорядочение, когда упорядочиваются подмножества равноценных элементов. Далее можно поставить задачу сравнения и упорядочения этих подмножеств.

Использование порядковых шкал позволяет производить преобразования полученных от экспертов оценок, соответствующих всем монотонно возрастающим функциям. Так, например, положительные оценки могут либо быть заменены их квадратами, или логарифмами, или любой другой монотонно возрастающей функцией.

Для формализации оценок, полученных от экспертов, часто используют интервальные шкалы . При использовании таких шкал для этих целей можно брать почти все обычные статистические меры. Исключением являются те меры, которые предполагают знание «истинно» нулевой точки шкалы, которая вводится здесь условно.

Интервальные шкалы предполагают возможность трансформации оценок, полученных на одной шкале, в оценки на другой шкале при помощи уравнения

Разности между значениями на шкале интервалов становятся мерами на шкале отношений, т.е. на обычной числовой шкале, т.к. в результате вычитания можно избавиться от постоянного слагаемого b .

В ряде случаев при формализации экспертных оценок используется свойство аддитивности, которое присуще только шкале отношений. Наличие аддитивности выражается следующими аксиомами :

1) если j = a и i > 0, то i + j > a ;

2) i + j = j + i ;

3) если i = a и j = b , то i + j = a + b ;

4) (i + j ) + k = i + (j + k ).

Обычная ситуация, когда необходимо принять решение с учетом аддитивности, заключается в том, что имеется несколько (по крайней мере, два) качественных факторов. При наличии нескольких факторов, характеризующих конкретные объекты, существует множество реальных свойств и типов связей объектов.

Так, например, факторы (показатели), характеризующие эффективность создания и внедрения новой техники, по их объективному содержанию можно подразделить на технические, экономические и социальные. С другой стороны, эти факторы можно сгруппировать в соответствии с их ролью в процессе создания и внедрения новой техники, выделив, например, показатели, характеризующие затраты, качество, экономическую эффективность и т.д.

В зависимости от характера и цели исследуемой проблемы факторы, по которым различаются объекты, могут быть количественно сравнимы или несравнимы между собой, частично сравнимы (т.е. не любой с любым, а лишь некоторые из них), упорядочены по степени их важности и т.д. Несоизмеримость различных факторов обусловлена не только необходимостью применения разных единиц измерения, но и тем, что каждый фактор, выражая определенное свойство, одновременно является оценкой отношения к данному свойству со стороны принимающего решение.

В практике управления во всех его уровнях часто возникают ситуации, когда необходимо принять решение с учетом многих факторов. Вопрос о том, какие именно факторы следует считать наиболее важными, зависит от качественных особенностей объекта решения и целей, которым должно отвечать это решение.

Например, при рассмотрении нескольких вариантов плана или вариантов организационно-технических мероприятий следует принимать во внимание факторы времени, затрат, технических и социальных результатов, экономической эффективности и т.д. Обычно все разнообразие факторов пытаются привести к однозначной комплексной оценке, причем наиболее удобной и распространенной такой оценкой является денежная.

Однако, поскольку последствия любого решения, особенно решений, связанных с научно-техническим прогрессом, выходят за рамки стоимостных показателей, необходимы измерители, характеризующие значимость, полезность того или иного фактора (или их комплекса). Такие комплексные измерители широко применяются при оценке качества продукции, технико-экономического уровня производства, при оценке результатов деятельности научных организаций и в ряде других задач. Хотя вопрос о создании достаточно обоснованной формализованной системы таких измерителей еще далек от окончательного решения, можно указать некоторые общие черты, обеспечивающие подход к формализации этого процесса и к использованию того или иного логико-математического аппарата.

В случае, когда все факторы задаются по номинальной шкале, т.е. задаются по этой шкале некоторый признак a и исходное множество элементов M, цель состоит в выборе подмножества элементов M(a), обладающих этим признаком. В таких случаях производится сравнение элементов, точнее их свойств, с признаком – эталоном, а результат – разбиение множества – можно рассматривать как упорядочение по двухэлементной шкале, по которой каждому из элементов присваивается балл, равный либо нулю, либо единице.

В случае, когда факторы заданы по порядковой шкале или по нескольким порядковым шкалам, цель состоит в упорядочении элементов исходного множества, в выявлении с помощью экспертов скрытой упорядоченности, которая, по предположению, присуща этому множеству. Необходимым условием решения этой задачи является допущение о транзитивности. Чем полнее упорядочены элементы, тем легче применить логико-математические и комбинаторные методы к решению таких задач.

В зависимости от существа или важности того или иного фактора на этапе подготовки и принятия решений могут быть использованы различные шкалы. Такие факторы, как затраты, прибыль, время, могут быть оценены по порядковой или интервальной шкале (в рублях, днях или условных единицах). Для оценки же таких факторов, как срок окупаемости или сравнительная эффективность вариантов, может быть использована интервальная шкала; качественные или социальные факторы могут оцениваться по порядковым или номинальным шкалам.

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

3.1. Задачи обработки

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами - средства достижения це­лей, то установление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

3.2. Групповая оценка объектов

В данном параграфе рассмотрим алгоритмы обра­ботки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объек­тов по l показателям. Результаты оценки представлены в виде величин , где j – номер эксперта, i - номер объекта,h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирова­ния, то величиныпредставляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результа­тов оценки существенно зависит от рассмотренных мето­дов измерения.

Рассмотрим случай, когда величиныполучены мето­дами непосредственной оценки или последовательного сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно (воспользоваться средним значением оценки для каждого объекта

(5.1)

где - коэффициенты весов показателей сравнения объектов, - коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объ­ектов являются нормированными величинами

(5.2)

Коэффициенты весов показателей могут быть опреде­лены экспертным путем. Если - коэффициент веса h -го показателя, даваемый j -м экспертом, то средний ко­эффициент веса h -го показателя по всем экспертам ра­вен

(5.3)

Получение групповой экспертной оценки путем сум­мирования индивидуальных оценок с весами компетент­ности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на пред­положении о выполнении аксиом теории полезности фон Неймана-Моргенштерна как для индивидуальных, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как пра­вило, выполняются, поэтому получение групповой оцен­ки объектов путем суммирования с весами индивидуаль­ных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вы­числить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение о том, что компетентность экспер­тов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентно­сти экспертов имеет вид рекуррентной процедуры :

(5.4)

(5.5)

(5.6)

Вычисления начинаются сt =1. В формуле (5.4) началь­ные значения коэффициентов компетентности принима­ются одинаковыми и равнымиТогда по фор­муле (5.4) групповые оценки объектов первого приближе­ния равны средним арифметическим значениям оценок экспертов

(5.7)

(5.8)

и значение коэффициентов компетентности первого при­ближения по формуле (5.6) :

(5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисле­ния по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин

Повторение рекуррентной процедуры вычислений оце­нок объектов и коэффициентов компетентности естест­венно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) пере­менныеии представим эти уравнения в вектор­ной форме

где матрицыВ размерности и С размерностиравны

Величина в уравнениях (5.10) определяется по фор­муле (5.5).

Если матрицы В и С неотрицательны и неразложи­мы, то, как это следует из теоремы Перрона – Фробениуса, привекторы и - сходятся к собственным векторам матриц В и С , соответствующим макси­мальным собственным числам этих матриц

(5.12)

Предельные значения векторов х иk можно вычислить из уравнений :

(5.13)

гдемаксимальные собственные числа матриц В и С .

Условие неотрицательности матриц В и С легко вы­полняется выбором неотрицательных элементовмат­рицы Х оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экс­пертов оценивает только объекты своей группы. Естест­венно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С , а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практи­ческих условиях выполняются.

Следует заметить, что практическое вычисление век­торов групповой оценки объектов и коэффициентов ком­петентности проще выполнять по рекуррентным форму­лам (5.4), (5.5), (5.6). Определение предельных значе­ний этих векторов по уравнению (5.13) требует примене­ния вычислительной техники.

Рассмотрим теперь случай, когда эксперты произво­дят оценку множества объектов методом ранжирования так, что величины есть ранги. Обработка результа­тов ранжирования заключается в построении обобщен­ной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжи­ровок и метрикув этом пространстве. Каждая ранжи­ровка множества объектов j -м экспертом есть точка в пространстве ранжировок.

Ранжировку можно представить в виде матрицы парных сравнений, элементы которой определим следу­ющим образом :

Очевидно, что, поскольку каждый объект эквива­лентен самому себе. Элементы матрицыантисим­метричны.

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Та­кую матрицу будем обозначатьи считать, что точка в пространстве ранжировок, соответствующая матрице, является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрикакак расстояние между i -й и j -й ранжировками определяется единственным образом фор­мулой

если выполнены следующие 6 аксиом :

1. причем равенство достигается, если ранжировки и тождественны;

2.

причем равенство достигается, если ранжировка «лежит между» ранжировками и. Понятие «лежит между» означает, что суждение о некоторой пареобъектов в ранжировке совпадает с суждением об этой паре либо в, либо в или же вва в

4.

где получается изнекоторой перестановкой объ­ектов, а из той же самой перестановкой. Эта ак­сиома утверждает независимость расстояния от перену­мерации объектов.

5. Если две ранжировки , одинаковы всюду, за исключением n -элементного множества элементов, явля­ющегося одновременно сегментом обеих ранжировок, то можно вычислить, как если бы рассматрива­лась ранжировка только этих n -объектов. Сегментом ранжировки называется множество, дополнение которо­го непусто и все элементы этого дополнения находятсялибо впереди, либо позади каждою элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжи­ровки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n -объектов, то естественно принять, что расстояние между ранжиров­ками должно равняться расстоянию, соответствующему ранжировкам средних n -объектов.

6. Минимальное расстояние равно единице.

Пространство ранжиро­вок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны При трех объектах про­странство всех возможных ранжировок состоит из 13 то­чек.

Используя введенную метрику, определим обобщен­ную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласова­ния на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжиро­вок, сумма расстояний от которой до всех точек - ран­жировок экспертов является минимальной. В соответст­вии с определением медиана вычисляется из условия

Средняя ранжировка есть такая точка, сумма квад­ратов расстояний от которой до всех точек – ранжиро­вок экспертов является минимальной. Средняя ранжи­ровка определяется из условия

Пространство ранжировок конечно и дискретно, по­этому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем слу­чае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то ме­диана и средняя ранжировка определяются из условий :

где - коэффициенты компетентности экспертов.

Если ранжировка объектов производится по несколь­ким показателям, то определение медианы вначале про­изводится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов :

(j =1,2,…,m );

где - коэффициенты весов показателей.

Основным недостатком определения обобщенной ран­жировки в виде медианы или средней ранжировки яв­ляется трудоемкость расчетов. Естественный способ отыскания или в виде перебора всех точек простран­ства ранжировок неприемлем вследствие очень быстро­го роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемко­сти вычислений. Можно свести задачу отыскания илик специфической задаче целочисленного программи­рования. Однако это не очень эффективно уменьшает вы­числительные трудности.

Расхождение обобщенных ранжировок при различ­ных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпа­дать.

Сложность вычисления медианы или средней ран­жировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объек­том от всех экспертов. Для матрицы ранжировок составляются суммы

Для учета компетентности экспертов достаточно умножить каждую i -ю ранжировку на коэффициент ком­петентности j -го эксперта В этом случае вы­числение суммы рангов для i -го объекта производится по следующей формуле :

(i =1,2,…,n ).

Обобщенная ранжировка с учетом компетентности экс­пертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжи­ровки по суммам рангов является корректной процеду­рой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., n . Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие мо­нотонности преобразования и, следовательно, можно по­лучать различные обобщенные ранжировки при различ­ных отображениях объектов на числовую систему. Нуме­рация мест объектов может быть произведена единст­венным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом от­ношении подходом к построению обобщенной ранжиров­ки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора,соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора.

3.3. Оценка согласованности мнений экспертов

При ранжировании объектов эксперты обычно расходят­ся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации . Рас­смотрим матрицу результатов ранжировки n объектов группой изm экспертов (j =1,…,m ; i =1,…,n ), где - ранг, присваиваемый j -м экспертом i -му объекту. Составим суммы рангов по каждому столбцу. В резуль­тате получим вектор с компонентами

(i =1,2,…,n). (5.14)

Величины рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оп­тимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой :

, (5.15)

где - оценка математического ожидания, равная

Дисперсионный коэффициент конкордации определя­ется как отношение оценки дисперсии (5.15) к макси­мальному значению этой оценки

Коэффициент конкордации изменяется от нуля до еди­ницы, поскольку.

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка мате­матического ожидания зависит только от числа объек­тов и количества экспертов. Подставляя в (5.16) зна­чение из (5.14), получаем

Рассмотрим вначале суммированные поi при фиксиро­ванном j . Это есть сумма рангов для j -го эксперта. По­скольку эксперт использует для ранжировки натураль­ные числа от 1 до n , то, как известно, сумма натураль­ных чисел от 1 до n равна

(5.19)

Подставляя (5.19) в (5.18), получаем

(5.20)

Таким образом, среднее значение зависит только от числа экспертов m и числа объектов n .

Для вычисления максимального значения оценки дис­персии подставим в (5.15) значение из (5.14) и воз­ведем в квадрат двучлен в круглой скобке. В результате получаем

(5.21)

Учитывая, что из (5.18) следует

получаем

(5.22)

Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скоб­ках. Величина этого члена существенно зависит от рас­положения рангов - натуральных чисел в каждой стро­кеi . Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицыбудут расположены одинаковые числа. Следовательно, суммирование рангов в каждойi -u стро­ке дает m -кратное повторениеi -ro числа :

Возводя в квадрат и суммируя по i , получаем значение первого члена в (5.22) :

(5.23)

Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая n =m все эксперты присваивают разные ранги одному объекту. Тогда

Сравнивая это выражение с приm =n , убеждаемся, что первый член в квадратных скобках формулы (9) ра­вен второму члену и, следовательно, оценка дисперсии равна нулю.

Таким образом, случай полного совпадения ранжиро­вок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в (5.22) и выпол­няя преобразования, получаем

(5.24)

Введем обозначение

(5.25)

Используя (5.25), запишем оценку дисперсии (5.15) в виде

Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (n -1), запишем окончательное выражение для коэффициента конкордации

(5.27)

Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе форму­лы (5.17) становится меньше, чем при отсутствии свя­занных рангов. Можно показать, что при наличии свя­занных рангов коэффициент конкордации вычисляется по формуле :

(5.28)

(5.29)

В формуле (5.28) - показатель связанных рангов в j -й ранжировке, - число групп равных рангов в j -й ран­жировке, - число равных рангов в k -й группе связан­ных рангов при ранжировке j -м экспертом. Если совпа­дающих рангов нет, то =0,=0 и, следовательно, =0. В этом случае формула (5.28) совпадает с форму­лой (5.27).

Коэффициент конкордации равен 1, если все ранжи­ровки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т. е. со­вершенно нет совпадения.

Коэффициент конкордации, вычисляемый по формуле (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распреде­ление частот для различных значений числа экспертов m и количества объектов n . Распределение частот для W при и вычислено в . Для боль­ших значений m и n можно использовать известные ста­тистики. При числе объектов n >7 оценка значимости коэффициента конкордации может быть произведена по критерию. ВеличинаWm (n -1 ) имеет распределе­ние сv=n –1 степенями свободы.

При наличии связанных рангов распределение с v=n -1 степенями свободы имеет величина :

(5.30)

Энтропийный коэффициент конкордации определяет­ся формулой (коэффициент согласия) :

где Н – энтропия, вычисляемая по формуле

(5.32)

а - максимальное значение энтропии. В формуле для энтропии - оценки вероятностей j -го ранга, при­сваиваемого i -му объекту. Эти оценки вероятностей вы­числяются в виде отношения количества экспертов , приписавших объекту рангj к общему числу экспер­тов .

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда. Тогда

Подставляя это соотношение в формулу (5.32), получаем

(5.35)

Коэффициент согласия изменяется от нуля до едини­цы. При расположение объектов по рангам рав­новероятно, поскольку в этом случае . Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупно­сти показателей, либо полной несогласованностью мне­ний экспертов. При , что достигается при нулевой энтропии (H =0), все эксперты дают одинаковую ранжи­ровку. Действительно, в этом случае для каждого фик­сированного объекта все эксперты присваивают ему один и тот же ранг j , следовательно, , a Поэтому и H =0.

Сравнительная оценка дисперсионного и энтропийно­го коэффициентов конкордации показывает, что эти ко­эффициенты дают примерно одинаковую оценку согла­сованности экспертов при близких ранжировках. Одна­ко если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделениямнений на две противоположные группы. Объем вычис­лений для энтропийного коэффициента конкордации не­сколько больше, чем для дисперсионного коэффициента конкордации.

3.4. Обработка парных сравнений объектов

При решении задачи оценки большого числа объектов (ранжирование, определение относительных весов, бал­льная оценка) возникают трудности психологического характера, обусловленные восприятием экспертами мно­жества свойств объектов. Эксперты сравнительно легко решают задачу парного сравнения объектов. Возникает вопрос, каким образом получить оценку всей совокуп­ности объектов на основе результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи. Пусть m экспертов про­изводят оценку всех пар объектов, давая числовую оценку

(5.36)

Если при оценке пары экспертов высказались в пользу предпочтения экспертов высказались наобороти экспертов считают эти объекты равноценными, то оценка математического ожидания случайной величины равна

(5.37)

Общее количество экспертов равно сумме

(5.38)

Определяя отсюда и подставляя его в (5.37), полу­чаем

(5.39)

Очевидно, чтоСовокупность величин образует матрицу на основе которой можно по­строить ранжировку всех объектов и определить коэф­фициенты относительной важности объектов.

Введем вектор коэффициентов относительной важно­сти объектов порядкаt следующей формулой :

где - матрица математических ожиданий оценок пар объектов, - вектор коэф­фициентов относительной важности объектов порядка t . Величина равна

(5.41)

Коэффициенты относительной важности первого по­рядка есть относительные суммы элементов строк мат­рицы X . Действительно, полагая t =1, из (5.40) получаем

(5.42)

Коэффициенты относительной важности второго по­рядка (t =2} есть относительные суммы элементов строк матрицы X 2 .

(5.43)

Если матрица Х неотрицательна и неразложима, то при увеличении порядка величина сходится к максимальному собственному числу матрицы Х

а вектор коэффициентов относительной важности объек­тов стремится к собственному вектору матрицы X , соот­ветствующему максимальному собственному числу

Определение собственных чисел и собственных век­торов матрицы производится решением алгебраического уравнения

где Е-единичная матрица, и системы линейных урав­нений

гдеk – собственный вектор матрицы X , соответствующий максимальному собственному числу . Компоненты соб­ственного вектора есть коэффициенты относительной важности объектов, измеренные в шкале отношений.

С практической точки зрения вычисление коэффици­ентов относительной важности объектов проще произво­дить последовательной процедурой по формуле (5.40) при t =1, 2, … Как показывает опыт, 3-4 последователь­ных вычислений достаточно, чтобы получить значения и k , близкие к предельным значениям, определяемым уравнениями (5.46), (5.47).

Матрица неотрицательная, поскольку все ее элементы (5.39) неотрицательны. Матрица называется неразложимой, если перестановкой рядов (строк и одно­именных столбцов) ее нельзя привести к треугольному виду

(5.48)

где - неразложимые подматрицы матрицы X . Пред­ставление матрицы Х в виде (5.48) означает разбиение объектов на l доминирующих множеств

При 1 =n матрица Х неразложима, т. е. существует толь­ко одно доминирующее множество, совпадающее с ис­ходным множеством объектов. Разложимость матрицы Х означает, что среди экспертов имеются большие раз­ногласия в оценке объектов.

Если матрица Х неразложима, то вычисление коэф­фициентов относительной важностипо­зволяет определить, во сколько раз один объект превос­ходит другой объект по сравниваемым показателям. Вычисление коэффициентов относительной важности объектов позволяет одновременно построить ранжиров­ку объектов. Объекты ранжируются так, что первым объ­ектом считается объект, у которого коэффициент относи­тельной важности наибольший. Полная ранжировка определяется цепочкой неравенств

из которой следует

Если матрица Х является разложимой, то определить коэффициенты относительной важности можно только для каждого множества. Для каждой матрицы определяется максимальное собственное число и соответ­ствующий этому числу собственный вектор. Компоненты собственного вектора и есть коэффициенты относитель­ной важности объектов, входящих в множество. По этим коэффициентам осуществляется ранжировка объ­ектов данного множества. Общая ранжировка объектов дается соотношением

Таким образом, если матрица Х неразложима, то по результатам парного сравнения объектов возможно какизмерение предпочтительности объектов в шкале отно­шений, так и в шкале порядка (ранжирование). Если же матрица Х разложима, то возможно только ранжиро­вание объектов.

Следует отметить, что отношение предпочтения может быть выражено любым положительным числом С . При этом должно выполняться условие В частности, можно выбрать С =2 так, что если , то если то и если , то .

3.5. Определение взаимосвязи ранжировок

При обработке результатов ранжирования могут возник­нуть задачи определения зависимости между ранжиров­ками двух экспертов, связи между достижением двух различных целей при решении одной и той же совокуп­ности проблем или взаимосвязи между двумя призна­ками.

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции . Характеристикой взаимосвязи множества ранжировок или целей будет яв­ляться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена и Кендалла.

Коэффициент ранговой корреляции Спирмена опре­деляется формулой :

где - взаимный корреляционный момент первой и второй ранжировок, - дисперсии этих ранжиро­вок. По данным двум ранжировкам оценки взаимного корреляционного момента и дисперсии вычисляются по формулам :

(5.51)

(5.52)

где n – число ранжируемых объектов, - ранги в первой и второй ранжировках соответственно, - средние ранги в первой и второй ранжировках. Оценки средних рангов определяются формулами :

(5.53)

Вычислим оценки средних рангов и дисперсий в пред­положении, что в ранжировках отсутствуют связанные ранги, т. е. обе ранжировки дают строгое упорядочение объектов. В этом случае средние ранги (5.53) представ­ляют собой суммы натуральных чисел от единицы доn , поделенные на n . Следовательно, средние ранги для обе­их ранжировок одинаковы и равны

(5.54)

При вычислении оценок дисперсий заметим, что если раскрыть круглые скобки в формулах (5.52), то под зна­ком сумм будут находиться натуральные числа и их квадраты. Две ранжировки могут отличаться друг от друга только перестановкой рангов, но сумма натураль­ных чисел и их квадратов не зависит от порядка (пере­становки) слагаемых. Следовательно, дисперсии (5.52) для двух любых ранжировок (при отсутствии связанных рангов) будут одинаковы и равны

(i=1,2). (5.55)

Подставляя значение из (5.51) ииз (5.55) в формулу (5.50), получим оценку коэффициента ранго­вой корреляции Спирмена

(5.56)

Для проведения практических расчетов удобнее поль­зоваться другой формулой для коэффициента корреля­ции Спирмена. Ее можно получить из (5.56), если вос­пользоваться тождеством

В равенстве (5.57) первые две суммы в правой части, как это следует из выражения (5.55), одинаковы и рав­ны

Подставляя в формулу (5.56) значение суммы из (5.57) и используя равенство (5.58), получаем следу­ющую удобную для расчетов формулу коэффициента ранговой корреляции Спирмена :

(5.59)

Коэффициент корреляции Спирмена изменяется от –1 до +1. Равенство единице достигается, как это сле­дует из формулы (5.59), при одинаковых ранжировках, т. е. когда Значение имеет место при про­тивоположных ранжировках (прямая и обратная ран­жировки). При равенстве коэффициента корреляции ну­лю ранжировки считаются линейно независимыми.

Оценка коэффициента корреляции, вычисляемая по формуле (5.59), является случайной величиной. Для определения значимости этой оценки необходимо задать­ся величиной вероятности , принять решение о значи­мости коэффициента корреляции и определить значение порога по приближенной формуле

(5.60)

где n – количество объектов, - функция, обратная функции

для которой имеются таблицы . После вычисления порогового значения оценка коэффициента корреляции считается значимой, если.

Для определения значимости оценки коэффициента Спирмена можно воспользоваться критерием Стьюдента, поскольку величина

приближенно распределена по закону Стьюдента с n – 2 степенями свободы.

Если в ранжировках имеются связанные ранги, то коэффициент Спирмена вычисляется по следующей фор­муле :

(5.62)

где - оценка коэффициента ранговой корреляции Спирмена, вычисляемая по формуле (5.59), а величины равны

(5.63)

В этих формулахи - количество различных связан­ных рангов в первой и второй ранжировках соответст­венно.

Коэффициент ранговой корреляции Кендалла при от­сутствии связанных рангов определяется формулой :

гдеn – количество объектов, - ранги объектов, sign x – функция, равная

Сравнительная оценка коэффициентов ранговой кор­реляции Спирмена и Кендалла показывает, что вычис­ление коэффициентов Спирмена производится по более простой формуле. Кроме того, коэффициент Спирмена дает более точный результат, поскольку он является оп­тимальной по критерию минимума средней квадрата ошибки оценкой коэффициента корреляции.

Отсюда следует, что при практических расчетах кор­реляционной зависимости ранжировок предпочтитель­нее использовать коэффициент ранговой корреляции Спирмена.

ЗАКЛЮЧЕНИЕ

Динамизм и новизна современных народнохозяйственных задач, возможность возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения.

Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

СПИСОК ЛИТЕРАТУРЫ:

2. Беклешев В.К., Завлин П.Н. Нормирование труда в НИИ и КБ. М.: Экономика, 1973. 203 с.

10. Добров Г.М., Ершов Ю.В., Левин Е.И., Смир­нов Л.П. Экспертные оценки в научно-техническом прогнози­ровании. Киев: Наукова думка, 1974. 263 с.

11. Евланов Л.Г. Принятие решений в условиях неопределен­ности. М.: ИУНХ, 1976. 196 с.

12. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978. 133 с.

13. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

14. Кемени Д., Снелл Д. Кибернетическое моделирование. М.: Советское радио, 1972. 234 с.

15. Кравченко Т.К. Процесс принятия плановых решений. М.: Экономика, 1974. 183 с.

16. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. 256 с. . 17. Михеев В.И. Социально-психологические аспекты управле­ния. Стиль и методы работы руководителя. М.: Молодая гвар­дия, 1975. 181 с.

18. Пфанцагль И. Теория измерений. М.: Мир, 1976. 278 с.

19. Тихомиров Ю.А. Управленческое решение. М.: Наука, 1996. 278 с.

20. Федоренко Н.П. Оптимизация экономики. М.: Наука, 1977. 236 с.

21. Ямпольский С.М., Лисичкин В.А. Прогнозирование научно-технического прогресса. М.: Экономика, 1974. 302 с.

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

Среднее линейное отклонение

Среднеквадратическое отклонение

Дисперсия

Коэффициента ранговой корреляции Спирмэна

Коэффициент (величина ) может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
x ij – ранг (важность ), присвоенный i-му объекту j-ым экспертом, x ik – ранг, присвоенный i-му объекту k-ым экспертом, d i – разница между рангами, присвоенными i-му объекту.

Коэффициент конкордации Кенделла
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

Вычисление

Определяется средний ранг совокупности признаков:

Вчисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – t q .
Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:

где

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы - с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек - вот вам