ГлавнаяРанжированиеМетод экспертной оценки путем ранжирования

Экспертное оценивание ранжированием. Метод экспертной оценки путем ранжирования


Экспертное оценивание ранжированием.



Обратная связь

ПОЗНАВАТЕЛЬНОЕ

Сила воли ведет к действию, а позитивные действия формируют позитивное отношение

Как определить диапазон голоса - ваш вокал

Как цель узнает о ваших желаниях прежде, чем вы начнете действовать. Как компании прогнозируют привычки и манипулируют ими

Целительная привычка

Как самому избавиться от обидчивости

Противоречивые взгляды на качества, присущие мужчинам

Тренинг уверенности в себе

Вкуснейший "Салат из свеклы с чесноком"

Натюрморт и его изобразительные возможности

Применение, как принимать мумие? Мумие для волос, лица, при переломах, при кровотечении и т.д.

Как научиться брать на себя ответственность

Зачем нужны границы в отношениях с детьми?

Световозвращающие элементы на детской одежде

Как победить свой возраст? Восемь уникальных способов, которые помогут достичь долголетия

Как слышать голос Бога

Классификация ожирения по ИМТ (ВОЗ)

Глава 3. Завет мужчины с женщиной

Оси и плоскости тела человека - Тело человека состоит из определенных топографических частей и участков, в которых расположены органы, мышцы, сосуды, нервы и т.д.

Отёска стен и прирубка косяков - Когда на доме не достаёт окон и дверей, красивое высокое крыльцо ещё только в воображении, приходится подниматься с улицы в дом по трапу.

Дифференциальные уравнения второго порядка (модель рынка с прогнозируемыми ценами) - В простых моделях рынка спрос и предложение обычно полагают зависящими только от текущей цены на товар.

В случае, если результат оценивания качества эксперты представляют в виде ранжированного ряда, то численное оп­ределение итоговых численных оценок качеств состоит в сле­дующем:

1. Все объекты оценивания (изделия, свойства) нумеруются произвольно.

2. Эксперты ранжируют объекты по шкале порядка.

3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.

Например, пусть пять экспертов о семи объектах экспертизы Qсоставили такие ранжированные ряды по возрастающей шка­ле порядка:

эксперт № 1 – Q5< Q3 < Q2< Q1< Q6< Q4< Q7;

эксперт № 2 – Q5 < Q3 < Q2 < Q6 < Q4 < Q1 < Q7;

эксперт №3 – Q3 < Q2 < Q5 < Q1 < Q6 < Q4< Q7,

эксперт № 4 – Q5< Q3< Q2< Q1 < Q4< Q6 < Q7;

эксперт № 5 – Q5 < Q3 < Q1 < Q2 < Q6 < Q4 < Q7.

Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до т (т — количество оцениваемых объек­тов).

В данном примере т = 7.

4. Определяются суммы рангов каждого из объектов эксперт­ной оценки.

В рассматриваемом примере они таковы:

Q1 – 4 + 6 + 4 + 4 + 3 = 21;

Q2 – 3 + 3 + 2 + 3 + 4 = 15;

Q3 –2 + 2 + 1 + 2 + 2 = 9;

Q4 –6 + 5 + 6 + 5 + 6 = 28;

Q5 – 1 + 1 + 3 + 1 + 1 = 7;

Q6– 5 + 4 + 5 + 6 + 5 = 25;

Q7 –7 + 7 + 7 + 7 + 7 = 35.

5. На основании полученных сумм рангов строят обобщен­ный ранжированный ряд.

Следовательно, в итоге ранжированный ряд, полученный все­ми экспертами группы, имеет вид:

Q5 < Q 3 < Q2 < Q1 < Q6 < Q4 < Q7

6. Обобщенные экспертные оценки качества рассматривае­мых объектов экспертизы, т.е. коэффициенты их весомости, рас­считываются по формуле:

где n – количество экспертов; т — число оцениваемых показа­телей; Qi,j– коэффициент весомости j-го показателя в ран­гах (баллах), который дал i-й эксперт.

Расчеты по формуле для рассматриваемого примера дают следующие результаты:

Анализируя полученные экспертным методом оценки каче­ства, можно не только указать, какой объект лучше или хуже других, но и насколько.

7. Точность экспертных оценок определяют по согласованно­сти мнений экспертов. Степень совпадения оценок экспертов, входящих в комиссию, характеризует качество экспертизы и выражается коэффициентом конкордации:

где S – сумма квадратов отклонений рангов или баллов каждо­го объекта от среднего арифметического значения;

п – количество экспертов; т — количество оцениваемых объектов.

Сумма квадратов отклонений рангов (S) от среднеарифмети­ческого их значения (Рсp) по всем объектам и экспертам нахо­дят по формуле:

,

где Qij – оценка в рангах, данная i-му объекту j-м экспертом;

Qcp – среднеарифметическое значение рангов.

Полная запись формулы коэффициента конкордации имеет следующий вид:

.

При W = 0 – абсолютная несогласованность, а при W = 1,0 – полное совпадение мнений (оценок). Следовательно, .

При экспертных методах оценки, в которых ранги оконча­тельно не определяются, для нахождения коэффициента кон­кордации рассчитанные значимости объектов следует перево­дить в ранги путем их ранжирования. В противном случае оценку степени согласованности мнений экспертов проводят по другим критериям.

В рассматриваемом здесь примере среднее арифметическое значение рангов Qсрравно:

Сумма квадратов отклонений от среднего арифметического значения рангов

S = 12 + 52+112+132 +52+152 = 630

Следовательно, коэффициент конкордации в данном случае

 

Повысить точность экспертных оценок показателей качества можно, если произвести двукратное сопоставление и оценива­ние объектов, т.е. сначала это сделать в одной последовательно­сти, а потом в противоположной.

megapredmet.ru

Экспертные оценки

Экспертные оценки часто возникают на практике, например, при дегустации продуктов питания. Вообще они типичны для социологических опросов, например, менеджер по контролю качества проводит опрос покупателей в супермаркете. При использовании экспертного метода для оценки качества часто используется шкала порядка. Решается вопрос сравнеия по принципу "лучше хуже", "больше меньше". Более подробная информация о том, во сколько раз лучше или хуже часто не требуется.

Попарное сравнение (объекты сравниваются друг с другом попарно). При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления. В таб. 1 приведен пример ранжирования шести объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом. Предпочтение одного объекта перед другим обозначено 1, обратная ситуация - 0.

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таб. 1, будет иметь вид:

Q4<Q5<Q6<Q2=Q1<Q3.

Если использовать несколько экспертов, то можно получить более точный результат.

Можно использовать более совершенные критерии, например, преимущество определить оценкой 1, худшее качество определить оценкой -1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним.

Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. Вы выбираете продукты, сравнивая их попарно), тем не менее, шкалу порядка часто составляют заранее ( не ранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами.

Так появилась двенадцатибальная шкала интенсивности землетрясений MSK - 64, минералогическая шкала Мооса, пятибалльная шкала оценки знаний, баллы в фигурном катании и т.д. В таблице 2 в качестве примера приведена шкала твердости минералов Мооса.

Номер объекта

1

2

3

4

5

6

Итог

1

х

1

0

1

1

1

4

2

0

х

0

1

1

1

4

3

1

1

х

1

1

1

5

4

0

0

0

х

0

0

0

5

0

0

0

1

х

0

1

6

0

0

0

1

1

х

2

Таблица 1. Ранжирование шести объектов путем попарного сравнения

Материал

Баллы

Тальк

1

Гипс

2

Кальцит

3

Флюорит

4

Апатит

5

Ортоклаз

6

Кварц

7

Топаз

8

Корунд

9

Алмаз

10

Таблица 2. Шкала Мооса

Каждый последующий минерал оставляет царапину на предыдущем, т.е. является более твердым. Результаты измерений, полученные попарным сопоставлением, можно уточнить методом последовательного приближения.

Влияние состава экспертов на результаты экспертизы

При формировании экспертной группы целесообразно провести тестирование, взаимооценку экспертов и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами, и проверке по критерию Фишера гипотезы о принадлежности оценок разных экспертов к одной и той же генеральной совокупности оценок.

Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы. Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации:

где S - сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения; n - число экспертов; m - число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0<W<1, причем 0 - полная несогласованность, 1 - полное единодушие.

Пример

Необходимо определить степень согласованности мнения пяти экспертов, результаты ранжирования которыми семи объектов приведены в таблице 3. Для определения степени согласованности используется специальная мера - коэффициент конкордации Кендалла (от лат. concordare - привести в соответствие, упорядочить).

Номер объекта экспертизы

Оценка эксперта

Сумма рангов

Отклонение от среднего

Квадрат отклонения

1

2

3

4

5

1

4

6

4

4

3

21

1

1

2

3

3

2

3

4

15

-5

25

3

2

2

1

2

2

9

11

121

4

6

5

6

5

6

28

8

64

5

1

1

3

1

1

7

-13

169

6

5

4

5

6

5

25

5

25

7

7

7

7

7

7

35

15

225

Таблица 3. Данные для оценки согласованности мнений пяти экспертов

Оцениваем среднеарифметическое число рангов:

Qср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Много это или мало? Если провести соответствующие вычисления в STATISTICA, то можно получить следующую таблицу результатов:

Рис. 1. Результаты проведения анализа в STATISTICA

Из этой таблицы следует, что различные мнения экспертов в данном примере незначимы: р<0.00014.

Влияние на результаты экспертизы количественного состава экспертов. С ростом числа экспертов в группе точность измерения повышается, что характерно для многократных измерений.

Количество экспертов n, обеспечивающее заданную точность измерений, можно установить, зная закон распределения мнений экспертов и максимально допустимую стандартную ошибку оценки Sx. Тогда, используя известное выражение, можно определить минимальное количесвто экспертов n, обеспечивающее заданную точность измерения:

где - стандартное отклонение, которое определяют по формуле:

где - среднеарифметическое значение оценок экспертов; - число оценок, дававшихся экспертами.

Различают также индивидуальное и коллективное мнение экспертов, последнее считают более точным, а главное, согласованным. В роли экспертов могут выступать люди со специальной подготовкой, потенциальные потребители и изготовители продукции.

В начало

Содержание портала

statistica.ru

Методы экспертных оценок

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов.

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте.

Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода — возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

  1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

  2. Определение способа количественной оценки показателей;

  3. Определение допустимых границ изменения показателей;

  4. Выбор метода поиска наилучшего варианта;

  5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

или , (2.18)

где - весовые коэффициенты, характеризующие значимость критерия. Численные значенияопределяются экспертами, при этом, желательно соблюдение следующего условия:

. (2.19)

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

(2.20)

(2.21)

Пример. По мнению экспертов, основными показателями экономического и социального развития региона являются:

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

  1. Агропромышленного комплекса;

  2. Предприятий пищевой промышленности;

  3. Отраслей социально-культурной сферы;

  4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Эксперт

Показатель

Валовый продукт

Уровень занятости

Среднемесячная заработная плата

1

10

5

4

2

10

6

5

3

7

4

3

Средняя арифметическая оценка

9

5

4

Таблица 2.3

Ожидаемые значения основных социально-экономических

показателей развития региона

Целевая программа

Значение показателей

Валовый продукт,

млн.руб

Уровень занятости,

%

Среднемесячная заработная плата,

руб

1

2000

80

2000

2

2500

70

800

3

1500

80

1000

4

2000

90

1500

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ;.

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

.

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

4.

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода "Дельфи":

а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;

б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

Как показала практика, метод «комиссий» имеет существенные недостатки:

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.

Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

studfiles.net

Особенности качественных методов принятия решений. Возможные пути и способы получения информации от экспертов. Методы и процедуры экспертного оценивания.

⇐ ПредыдущаяСтр 25 из 39Следующая ⇒

Иногда специфика объектов экспертного оценивания такова, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

В этих случаях нередко существенно более оправданным является использование методов качественной оценки объектов экспертизы.

1. Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и принятым к использованию классов, категориям, уровням, сортам и т.д.

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Может быть заранее не определено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь после завершения процедуры классификации. Если эксперту необходимо отнести каждый из альтернативных вариантов к одному из заранее установленных классов, то наиболее распространена процедура последовательного предъявления экспертов альтернативных вариантов.

В соответствии с имеющейся у него информацией об оцениваемом объекте и используемой им оценочной системе эксперт определяет, к какому из классов оцениваемый объект принадлежит. После завершения процедуры последовательного предъявления оцениваемых альтернативных вариантов эксперту может быть предъявлен результат его оценки в виде распределения всех оцененных им альтернативных вариантов по классам.

На этом этапе эксперту, как правило, предоставляется возможность, исходя из общего результата классификации, внести коррективы в данные им оценки. Если проводится коллективная экспертиза, то результаты экспертной классификации, указанные каждым из экспертов, обрабатываются с целью получения результирующей коллективной экспертной оценки.

В зависимости от целей экспертизы могут возникнуть необходимость отнесения альтернативных вариантов к упорядоченным классам.

Эксперту предъявляется пара альтернативных вариантов и предлагается определить, относятся ли они к одному классу или к разным. После этого эксперту последовательно предлагаются оцениваемые альтернативные варианты и выясняется, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного альтернативного варианта образовать новый класс.

Процедура завершается после того, как эксперту будут предъявлены все альтернативные варианты.

2. Метод парных сравнений (см. вопрос 30)

3. Ранжирование альтернативных вариантов

В этом методе эксперту предъявляются отобранные для сравнительной оценки альтернативные варианты, но желательно не более 20 - 30 для их упорядочения по предпочтительности. Если альтернативных вариантов больше, то целесообразно использование соответствующих модификаций метода ранжирования. Например, ранжированию альтернативных вариантов может предшествовать их разбиение на упорядоченные по предпочтению классы с помощью метода экспертной классификации.

Ранжирование сравниваемых объектов эксперт может осуществлять различными способами. Приведем два из них.

  1. В соответствии с первым эксперту предъявляется весь набор альтернативных вариантов, и он указывает среди них наиболее предпочтительный. Затем эксперт указывает наиболее предпочтительный альтернативный вариант среди оставшихся и т.д., пока все оцениваемые альтернативные варианты не будут им проранжированы.
  2. При втором способе эксперту первоначально предъявляются два альтернативных варианта или больше, которые ему предлагается упорядочить по предпочтениям.

Если эксперту первоначально предлагается несколько альтернативных вариантов для упорядочения по предпочтениям, то он на этом этапе может воспользоваться первым способом ранжирования.

После проведения первоначального ранжирования эксперту последовательно предлагаются новые, еще не оцененные им альтернативные варианты. Эксперт должен определить место вновь предъявленного альтернативного варианта среди проранжированных ранее. Процедура завершается после предъявления и оценки последнего альтернативного варианта. (Балдин. Управленческие решения)

МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК - специфич. метод получения информации об объекте с помощью специалистов - экспертов в определенной области. Экспертные оценки широко используются в прогнозировании, при определении целей развития или принятии плановых решений, помогают оценить значимость показателей и проверить качество методик, применяемых для сбора данных, повысить обоснованность практич. рекомендаций и т. д. Повышение объективности рез-тов оценок экспертов достигается целым рядом логич. и статистич. процедур подбора специалистов, организации их опроса, обработки рез-тов экспертизы. Совокупность этих процедур и наз. М.э.о. Для подготовки экспертизы обычно формируется группа специалистов. В ее задачи входят: а) постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов; б) разработка процедуры экспертизы; в) отбор экспертов, проверка их компетентности и формирование групп экспертов; г) проведение опроса и согласование оценок; д) формализация полученной информации, ее обработка, анализ и интерпретация. В состав группы входят специальной области знания, а также специалисты по экспертным методам (социологи, психологи, математики), всего может быть 5-7 чел. В основе экспертизы обычно лежит вопросник, с помощью к-рого и осуществляется сбор требуемой информации.

Экспертной оценкой называется средняя, или модальная, характеристика из высказанных группой компетентных специалистов мнений о каком-либо явлении и процессе, при условии, что удалось достичь согласованности или близости взглядов.

Всегда необходима проверка согласованности мнений экспертов и классификация экспертных мнений.

Процедура экспертного оценивания включает в себя несколько этапов:

1. Постановка цели исследования.

Экспертное оценивание предполагает создание некого разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником возможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход позволяет решать задачи, не поддающиеся решению обычным аналитическим способом, в том числе:

· Выбор лучшего варианта решения среди имеющихся.

· Прогнозирование развития процесса.

· Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

· Четкое определение условий, времени, внешних и внутренних ограничений проблемы. * Возможность ответа на вопрос с доступной человеческому опыту точностью.

· Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных оценок не рекомендуется задавать более пяти градаций.

· Эксперты оценивают возможные варианты, и не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2. Выбор формы исследования, определение бюджета проекта. Существующие виды экспертных оценок можно классифицировать по признакам:

· По форме участия экспертов: очное, заочное. Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле.

· По количеству итераций (повторов процедуры для повышения точности) - одношаговые и итерационные.

· По решаемым задачам: генерирующие решения и оценивающие варианты.

· По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

· По способу обработки мнений экспертов: непосредственные и аналитические.

· По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5-12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах. После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренду помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры. Эксперты перед вынесением суждения должны разносторонне рассмотреть представленную проблему. Для проведения этой процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы, бланки анкет, инвентарь. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4. Подбор экспертов. Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы.

В проблеме подбора экспертов можно выделить две составляющие - составление списка возможных экспертов и выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. С этой целью, например, применяют методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

5. Проведение экспертизы.Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

· Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

· Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6. Статистический анализ результатов. После получения ответов экспертов необходимо провести их оценку. Это позволяет:

  1. Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты).
  2. Оценить ошибку исследования.
  3. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы). Результаты экспертного оценивания оформляются в виде отчёта. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

©2015 arhivinfo.ru Все права принадлежат авторам размещенных материалов.

arhivinfo.ru

Prostoy-Site | Все права защищены © 2018 | Карта сайта