Метод ранжирования в экспертном оценивании: Методы экспертных оценок / Хабр

Метод экспертного оценивания. Обобщение мнений экспертов

Похожие презентации:

Метод экспертных оценок

Метод экспертных оценок

Экспертные методы

Методы экспертной оценки в принятии решений

Прогнозирование методом Дельфи

Метод экспертных оценок

Экспертный метод ранжирования

Виды экспертных данных и способы их преобразований

Метод экспертной оценки

Интуитивные методы прогнозирования

1. Метод экспертного оценивания

Обобщение мнений экспертов
Существует несколько подходов: один из подходов к решению этой задачи
состоит в том, чтобы групповой считать ранжировку, наиболее тесно
коррелированную с n обрабатываемыми ранжировками. Другой подход — искать
групповую ранжировку как медиану индивидуальных.
Наиболее простым в вычислительном отношении является метод «сумм рангов»,
Данный метод заключается в суммировании рангов объектов множества
предъявления, выставленных каждым экспертом, и определении групповой
(обобщенной) ранжировки на основе суммарных рангов. Групповая ранжировка
может оказаться нестрогой даже при использовании каждым экспертом строгого
ранжирования.
Определение групповых ранжировок при использовании других способов
выражения предпочтений экспертов также основано на осреднении
соответствующих оценок (балльных; точечных; непосредственных числовых) и
построении на основе средних результатов обобщенной ранжировки.
Еще раз подчеркнем: подобным образом получать обобщенное
мнение экспертов можно только в случае высокой (средней) и значимой
согласованности мнений отдельных членов группы. Применение такого подхода
при значительном расхождении частных мнене может привести к абсурдным результатам.
Выделение подгрупп экспертов с
близкими мнениями
При слабой степени согласованности мнений группы экспертов следует
провести содержательный анализ причин расхождения мнений специалистов.
Наиболее распространенными причинами являются:
• наличие в группе экспертов с нестандартными (оригинальными)
мнениями;
• приверженность экспертов позиций «своей» научной школы;
• отстаивание личных, ведомственных, корпоративных, национальных,
политических и др. интересов.
Если для выявления мнений экспертов использовалось ранжирование
элементов множества предъявления, то целесообразно выделить отдельные
наиболее отличающиеся от всех остальных ранжировки и выяснить, не
распадается ли экспертная группа на несколько подгрупп, каждая из которых
придерживается своей точки зрения.
Если это так, то для каждой из подгрупп следует получить «среднюю»
ранжировку, применив тот или иной из рассмотренных методов.
В случае использования других способов выражения предпочтений экспертов
для выявления оригинальных (противоречивых) мнений применяют
классические традиционные статистические методы — прежде всего
интервальное оценивание, т.е. оценивание статистической значимости выхода
какой-либо оценки за границы заданного доверительного интервала.
В случае значительного расхождения мнений экспертов целесообразно
применение комплексных экспертных процедур.
Оценка и учет компетентности экспертов
Компетентность экспертов может оцениваться как до проведения опроса,
так и в ходе обработки полученных результатов экспертизы. Если тем или
иным способом получены коэффициенты компетентности экспертов, то эти
коэффициенты можно использовать при обработке как относительные
«веса» мнений соответствующих экспертов.
Однако предпочтительнее оценивать компетентность экспертов
непосредственно по результатам конкретной экспертизы в процессе
обработки полученных оценок. Для задачи обработки нормированных балльных
оценок, т.е. удовлетворяющих условиям:
Алгоритм расчетов весьма схож с алгоритмом обработки оценок по методу
попарных сравнений с градациями, изложенному ранее. Вначале считаем, что
все эксперты равнокомпетентны:
Смысл расчетов заключается в том, что для эксперта, который дал большую
оценку мероприятию, получившему большую «взвешенную» сумму баллов,
коэффициент компетентности увеличивается значительнее.
На практике оценку компетентности экспертов с помощью рассмотренного
подхода провести тем сложнее, чем выше рассогласованность их мнений. Кроме
того, эта процедура осложняется необходимостью учета психологических,
эмоциональных и других свойств экспертов, особенно если предполагается
привлекать их к последующим экспертизам.

English    
Русский
Правила

Microsoft Word — Сборник1_макет.docx

%PDF-1.4
%
1 0 obj
>
/OCGs [4 0 R]
>>
/Pages 5 0 R
/Type /Catalog
>>
endobj
6 0 obj
>>
endobj
2 0 obj
>
/Font >
>>
/Fields []
>>
endobj
3 0 obj
>
stream
application/pdf

2015-07-01T11:50:56+06:00PScript5.dll Version 5.2.22015-07-01T16:15:46+06:002015-07-01T16:15:46+06:00Acrobat Distiller 10.1.10 (Windows)uuid:5ca009d9-b365-4808-9cab-1ec39f4b0569uuid:8762ccc1-9687-4395-8773-0523c3c44457

endstream
endobj
4 0 obj
>
>>
>>
endobj
5 0 obj
>
endobj
7 0 obj
>
endobj
8 0 obj
>
endobj
9 0 obj
>
endobj
10 0 obj
/I 15 0 R
/P 10
>>
/Resources >
/Font >
/ProcSet [/PDF /Text]
/XObject >
>>
/Rotate 0
/Type /Page
/Annots [33 0 R]
>>
endobj
11 0 obj
/I 15 0 R
/P 11
>>
/Resources >
/ExtGState >
/Font >
/ProcSet [/PDF /Text /ImageC /ImageI]
/XObject >
>>
/Rotate 0
/Type /Page
>>
endobj
12 0 obj
>
stream
HWnH}W#ꖙ$ V]8VlR`ə~VMI+Y)˩SU˳W?_pjFU _E7PT?#&%R,Z>gC^g
%||^-jq,

ИССЛЕДОВАНИЕ ИСПОЛЬЗОВАНИЯ РЕЙТИНГА ДЛЯ ФОРМИРУЮЩЕЙ ОЦЕНКИ В КОНТЕКСТЕ ИНТЕРАКТИВНОГО ОБРАЗОВАНИЯ
КОНТЕКСТ ИНТЕРАКТИВНОГО ОБУЧЕНИЯ

ЭКСПЕРТИЗА ПРИМЕНЕНИЯ
ЭКСПЕРТНАЯ ОЦЕНКА ДЛЯ ФОРМИРУЮЩЕЙ ОЦЕНКИ В КОНТЕКСТЕ ИНТЕРАКТИВНОГО ОБРАЗОВАНИЯ

Найджел
Поуп, Эд Форрест, Терри Гэтфилд*

ВВЕДЕНИЕ

Альтернатива
подходы к более традиционным, суммативным формам оценки были
отмечается как преобладание как в начальном, так и в среднем образовании (Williams,
1992). Альтернативные подходы включают такие методы, как самоанализ,
коллективная оценка (Фальчиков, 1986).

В данной статье рассматривается одна из форм одного
из этих альтернативных методов оценки, коллегиальный рейтинг, в рамках третичного
применение последипломного бизнес-образования с использованием интерактивных технологий.

ТЕ
КОНТЕКСТНАЯ ИНФОРМАЦИЯ ДЛЯ РЕЙТИНГА

Самооценка – это ориентированный на студента подход,
позволяет ученику проявить инициативу, а учителю стать
сотрудник и гид (Хаммонд и Коллинз, 1991). Этот метод может занять несколько
формы:

1)
номинация равных — выявление лучших и худших членов группы
по участникам группы,

2)
коллегиальный рейтинг – оценка каждого члена остальной группой на
совокупность эксплуатационных характеристик и,

3)
ранжирование коллег — ранжирование всех отдельных членов группы от лучшего к худшему
против заданного набора характеристик (Kane and Lawler, 1978).

Было установлено, что наиболее
полезно для предоставления обратной связи. Этот
подтверждается свидетельством того, что в управленческой среде этот метод был
нашли не угрожающим и конструктивным (Roadman, 1964

Заявленные преимущества включают:

1)
улучшение итоговых документов (Boud, 1989),

2)
подкрепление обучения и обмена идеями (Фрай, 1990; Уильямс,
1992 г.),

3)
понимание схем и стандартов маркировки (Fox, 1989; Fry, 1990;
Уильямс, 1992 г.),

4)
понимание навыков презентации (Fox, 1989; Fry, 1990) и

5)
изменение роли учителя с оценщика на фасилитатора (Боуд, 19 лет).86;
Фрай, 1990).

Обнаруженные недостатки связаны с социометрическими факторами
(Фокс, 1989; Уильямс, 1992).

Образец
в работе, представленной здесь, использовалась выборка из сорока аспирантов
студенты двух предметов в магистерской программе курсовой работы, предлагаемой с использованием
гибкая доставка. Все учащиеся должны были участвовать в формирующих,
оценка представленной работы рассылается по электронной почте.

*Все авторы работают в Школе маркетинга по адресу
Университет Гриффита.

Студенты были
попросили принять участие в фокус-группах в чате в конце курсовой работы для
семестр и через неделю после сдачи оценочного задания, по которому они
провел экспертную оценку. Членов группы попросили оставить комментарий
относительно своего предметного опыта в неструктурированной дискуссии. В конце
это обсуждение, модератор попросил их прокомментировать конкретно
их опыт экспертной оценки их письменной работы. Модератор использовал
предлагает получить ответы, касающиеся: функциональности, любопытства и условий
для использования этой формы оценки.

ВЫВОДЫ

По каждому предмету участники сообщили об улучшении
в навыках письма и отчетности. Когда их просят определить эти навыки, они
выбранные орфография и грамматика, ссылки и логика в качестве основных затронутых областей
по рейтингу коллег. Это было связано как с чтением работ сверстников, так и с
чтение их собственной работы. В одном предмете участники сообщили, что писали
более высокий стандарт из-за знания того, что сверстники будут оценивать работу.

Студенты предположили, что суммативное оценивание за
их предметы должны быть основаны на их письменных оценочных заданиях, представленных для
рейтинг коллег, а не на обоих, что и выпускной экзамен. Когда это было
исследовал причины, связанные с 1) убеждением, что объем работы
участие в предметах оценки сверстников было больше, чем в других частях предмета
и 2) чувство, что это было основным источником обучения в
предметы.

Некоторое эмоциональное содержание появилось в связи с
эпистемические (любопытные) ценности. В то время как участники выражали любопытство и
интерес к концепции коллегиального рейтинга, все согласились с тем, что эта концепция вызвала
некоторое беспокойство в его применении. Источником этого беспокойства был страх перед тем, как
сверстники будут рассматривать человека после того, как работа будет оценена, а не по качеству
сама работа. Эта тревога, по-видимому, улеглась после завершения
процесс.

Группы были единодушны и довольно сильны в своих действиях.
представление о том, когда и как следует использовать рейтинг коллег. Потрясающий вид был
что метод подходит для аспирантов с опытом работы.
Ни один участник не согласился с утверждением модераторов о том, что такой инструмент
может работать со студентами бакалавриата. Приведены причины, связанные с
зрелость, опыт работы и размер группы.

ОБСУЖДЕНИЕ
И ВЫВОДЫ

Несколько
сообщалось о преимуществах использования рейтинга коллег в качестве формирующей оценки
орудие труда. К ним относятся улучшение навыков письма (Boud, 1989), обучение
подкрепление (Фрай, 1990; Уильямс, 1992), лучшее понимание маркировки
стандарты (Fox, 1989; Fry, 1990; Williams, 1992), улучшенные навыки презентации
(Фокс, 1989; Фрай, 1990) и изменение роли учителя (Боуд, 1986; Фрай,
1990). Исследование, о котором здесь сообщается, не рассматривало последние два из этих
преимущества: рассмотрены только первые три. Каждый из них относится к
функциональная ценность метода экспертной оценки.

Результаты
анализ фокус-группы подтверждают утверждение о том, что навыки письма
улучшенный по рейтингу сверстников. По крайней мере, так считают студенты. Этот
кажется, является результатом как акта письма, так и акта чтения произведения
других. Кажется правдоподобным предположить, как это сделали некоторые участники, что
знание того, что работа будет оценена сверстниками, побудит учащихся писать
более высокий стандарт.

Районы, где
Студенты заявили об улучшении навыков письма, связанных с орфографией, грамматикой,
ссылки и логика. Во многом это редакторские навыки, не обязательно
часть предмета. Однако интересно отметить, что участники
также утверждал, что пункт оценки, относящийся к рейтингу коллег, был
предмет, над которым они проделали больше всего работы и из которого узнали
наиболее. Это поддержало бы утверждение о том, что этот процесс поощряет глубокое
обучение (Фрай, 19 лет90; Уильямс,
1992).

Было установлено, что метод экспертной оценки
не угрожающий (Roadman, 1964). Эти данные не подтверждают это утверждение. В
на самом деле, участники выразили первоначальную тревогу при вступлении в процесс. Это может
также учитывают усиленную работу, описанную участниками. В качестве таких,
этот конкретный аспект может быть не таким невыгодным, как кажется на первый взгляд.

ССЫЛКИ

Боуд, Д.Дж. (1986) Внедрение самооценки учащихся , Сидней: Высшее образование
Общество исследований и разработок Австралии.

Боуд, Д.Дж. (1989) Роль самооценки в оценивании и оценке учащихся
в высшем образовании , том. 14, № 1, стр. 20-30.

Фальчиков, Н. (1986) Сравнение продуктов и
Технологические преимущества совместной экспертной оценки Оценка и оценивание в высшем образовании , Vol. 11, № 2, с.
146-166.

Фокс, Д. (1989) Коллегиальная оценка эссе
Задание Новости HERDSA , Vol. 11,
№ 2, стр. 6-7.

Фрай, С.А. (1990) Внедрение и оценка
Оценка сверстников в высшем образовании Оценка
и оценка в высшем образовании , Vol. 15, № 3, стр. 177-189.

Хаммонд, М. и Коллинз, Р. (1991) Самостоятельный
Обучение: критическая практика , Лондон: Коган Пейдж.

Кейн, Дж.С. и Лоулер, Э. Э. (1978) Методы равных
Оценка Психологический бюллетень ,
Том. 85, № 3, стр. 555-586.

Дорожник, Е.П. (1964) Промышленное использование сверстников
Рейтинги Журнал прикладной психологии ,
Том. 48, стр. 211-214.

Уильямс, Э. (1992) Отношение студентов к
Подходы к обучению и оценке Оценка
и оценка в высшем образовании , Vol. 17, № 1, стр. 45-58.

Первое место, которое следует установить в рейтинге, — это опрос коллег по оценке (мнение)

Каждый год тысячи студентов и семей читают рейтинг колледжей U.S. News & World Report , чтобы помочь им найти лучший колледж для своего образования будущее. Люди используют рейтинги, рейтинги и обзоры, чтобы купить почти все. Почему бы им не использовать рейтинги для выбора колледжа?

Рейтинги в настоящее время учитывают несколько факторов — количество выпускников, удержание первого года обучения, зарплаты преподавателей, размер классов, студенческий долг и избирательность студентов, среди прочего. U.S. New s позволяет читателям ознакомиться с различными факторами, влияющими на общую оценку университета, и решить для себя, являются ли они подходящими и важными.

Одним из факторов в системе подсчета очков US News , который на протяжении многих лет вызывал гнев многих руководителей колледжей и университетов, является академическая репутация студентов. Этот показатель составляется на основе опроса президентов, ректоров и менеджеров по зачислению по всей стране. Это единственная субъективная часть U.S. News и составляет колоссальные 20% от общей оценки.

Самый популярный

• Опрос показывает, что общественность не одобряет позитивные действия
• Академические эксперты дают советы по ChatGPT — возможно, непреднамеренно — в пользу колледжей с более крупными национальными брендами и оставляет мало места для многообещающих учебных заведений, которые внедряют инновации и лучше готовят студентов к жизни после окончания учебы. Что еще хуже, только около трети избирателей даже возвращаются к опросу, что усугубляет проблему и делает рейтинг каждого человека гораздо более влиятельным для общего рейтинга учреждения.

  Вы можете попросить кого угодно назвать пять лучших колледжей страны, и, скорее всего, будет достигнут консенсус по поводу лучших учебных заведений, хотя их точный порядок может быть оспорен. Что произойдет, если вы запросите 10 лучших, 20 лучших, 100 лучших или ранжирование каждого колледжа? Чем больше колледжей вы пытаетесь оценить, тем сложнее становится задача.

  У всех нас есть предубеждения относительно любого количества предметов. Поэтому неудивительно, что избирателя U.S. News часто ранжируют колледжи либо исходя из личных интересов, либо на основе исторического успеха колледжа. Это почти как заполнить скобку для March Madness.

  В Университете штата Флорида, например, наши показатели успеваемости студентов за последнее десятилетие резко выросли. Наши показатели удержания в настоящее время составляют 95 процентов, наш четырехлетний показатель выпускников входит в десятку лучших среди государственных университетов, и мы устранили неравенство в показателях выпускников среди нашего разнообразного студенческого контингента. И тем не менее, наша оценка репутации за последние 10 лет осталась неизменной.

  Можно с уверенностью сказать, что штат Флорида и многие другие колледжи — государственные и частные — заняли бы другое место без оценки коллег. Слишком часто это основывается на историческом успехе, а не на текущих показателях.

  Ничто из этого не означает, что мы должны покончить с ранжированием или даже полностью исключить экспертную оценку из процесса. Рейтинги — ценный инструмент, который может помочь учащимся и семьям сделать лучший выбор на будущее. А U.S. News проделывает монументальную работу по составлению своей ежегодной публикации.

  Похожие статьи

  • ‘U.S. Новости изменили подход к рейтингу юридических вузов
  • ‘США News’ изменит рейтинг своих юридических школ
  • Университету Южной Калифорнии подан иск из-за ложных рейтингов

  Однако сейчас идеальное время, чтобы оценить, как разрабатываются рейтинги. Поскольку многие колледжи и университеты делают экзамены SAT и ACT необязательными, U. S. News , вероятно, потребуется просмотреть общие данные и веса, присвоенные определенным категориям.

  У нас есть два предложения по части экспертной оценки.

  Во-первых, для тех, кто прислал опрос: не оценивайте колледж, если вы не знаете его задачи и не имеете доступа к данным о том, как они ее выполняют. 901:53 US News дает нам выход. Говорят, если мы не знаем, не оценивайте колледж. Это слишком просто. Если мы не знаем, давайте узнаем.

  Когда будут опубликованы опросы по взаимной оценке, U.S. News может дать избирателям ссылку на набор объективных данных по каждой школе для просмотра. Это позволит избирателям тщательно рассмотреть, что делает каждое учреждение в режиме реального времени, а не голосовать на основе ограниченных личных знаний об университете.

  Во-вторых, уменьшите вес оценки сверстников и перераспределите веса между показателями результатов учащихся. Эта корректировка по-прежнему позволила бы Гарвардскому университету и многим университетам с высокими рейтингами занять место среди лучших в общем рейтинге, потому что их другие точки данных очень сильны.