Метод экспертной оценки путем ранжирования: Экспертные оценки

Экспертные оценки

Экспертные оценки часто возникают на практике, например, при дегустации продуктов питания. Вообще они типичны для социологических опросов, например, менеджер по контролю качества проводит опрос покупателей в супермаркете. При использовании экспертного метода для оценки качества часто используется шкала порядка. Решается вопрос сравнеия по принципу «лучше хуже», «больше меньше». Более подробная информация о том, во сколько раз лучше или хуже часто не требуется.

Попарное сравнение (объекты сравниваются друг с другом попарно). При построении шкалы порядка или так называемого ранжированного ряда эксперты используют метод попарного сопоставления. В таб. 1 приведен пример ранжирования шести объектов путем попарного сравнения. Это результат работы одного эксперта, оценивавшего объекты определенным образом. Предпочтение одного объекта перед другим обозначено 1, обратная ситуация — 0.

Ранжированный ряд (шкала порядка) для объектов, сравнительная оценка которых приведена в таб. 1, будет иметь вид:

Q4<Q5<Q6<Q2=Q1<Q3.

Если использовать несколько экспертов, то можно получить более точный результат.

Можно использовать более совершенные критерии, например, преимущество определить оценкой 1, худшее качество определить оценкой -1, а равноценное качество определить оценкой 0. Механизм составления ранжированного ряда остается прежним.

Психологами доказано, что попарное сопоставление лежит в основе любого выбора (т.е. Вы выбираете продукты, сравнивая их попарно), тем не менее, шкалу порядка часто составляют заранее ( не ранжированный ряд) и фиксируют в ней опорные (реперные) точки, которые называют баллами.

Так появилась двенадцатибальная шкала интенсивности землетрясений MSK — 64, минералогическая шкала Мооса, пятибалльная шкала оценки знаний, баллы в фигурном катании и т.д. В таблице 2 в качестве примера приведена шкала твердости минералов Мооса.

Таблица 1. Ранжирование шести объектов путем попарного сравнения

Таблица 2. Шкала Мооса

Каждый последующий минерал оставляет царапину на предыдущем, т.е. является более твердым. Результаты измерений, полученные попарным сопоставлением, можно уточнить методом последовательного приближения.

Влияние состава экспертов на результаты экспертизы

При формировании экспертной группы целесообразно провести тестирование, взаимооценку экспертов и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, с известными организаторам тестирования, но неизвестными экспертам результатами, и проверке по критерию Фишера гипотезы о принадлежности оценок разных экспертов к одной и той же генеральной совокупности оценок.

Самооценка состоит в том, что каждый эксперт в ограниченное время отвечает на вопросы специально составленной анкеты. Такое испытание проводят на компьютере и затем получают балльную оценку. Эксперты могут оценивать и друг друга, но для этого необходима доверительная обстановка и опыт совместной работы. Согласованность мнения экспертов можно оценивать по величине коэффициента конкордации:

где S — сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего значения;

n — число экспертов;

m — число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0<W<1, причем 0 — полная несогласованность, 1 — полное единодушие.

Пример

Необходимо определить степень согласованности мнения пяти экспертов, результаты ранжирования которыми семи объектов приведены в таблице 3. Для определения степени согласованности используется специальная мера — коэффициент конкордации Кендалла (от лат. concordare — привести в соответствие, упорядочить).

Таблица 3. Данные для оценки согласованности мнений пяти экспертов

Оцениваем среднеарифметическое число рангов:

Q_ср = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Затем оцениваем сумму квадратов отклонений от среднего: S = 630. Определяем величину коэффициента конкордации:

W = 12 * 630 / 25 * (343 — 7) = 0,9.

Много это или мало? Если провести соответствующие вычисления в STATISTICA, то можно получить следующую таблицу результатов:

Рис. 1. Результаты проведения анализа в STATISTICA

Из этой таблицы следует, что различные мнения экспертов в данном примере незначимы: р<0.00014.

Влияние на результаты экспертизы количественного состава экспертов. С ростом числа экспертов в группе точность измерения повышается, что характерно для многократных измерений.

Количество экспертов n, обеспечивающее заданную точность измерений, можно установить, зная закон распределения мнений экспертов и максимально допустимую стандартную ошибку оценки Sx. Тогда, используя известное выражение, можно определить минимальное количесвто экспертов n, обеспечивающее заданную точность измерения:

где — стандартное отклонение, которое определяют по формуле:

где — среднеарифметическое значение оценок экспертов;

— число оценок, дававшихся экспертами.

Различают также индивидуальное и коллективное мнение экспертов, последнее считают более точным, а главное, согласованным. В роли экспертов могут выступать люди со специальной подготовкой, потенциальные потребители и изготовители продукции.

В начало

Содержание портала

ЭКСПЕРТНАЯ ОЦЕНКА С ПОМОЩЬЮ МЕТОДА РАНЖИРОВАНИЯ…

Привет, Вы узнаете про экспертная оценка с помощью метода ранжирования, Разберем основные ее виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое
экспертная оценка с помощью метода ранжирования, экспертное оценивание , настоятельно рекомендую прочитать все из категории Квалиметрия надежность и качество.

экспертное оценивание — процесс получения оценки чего-либо, на основе мнения экспертов, с целью последующего принятия решения или выбора.

Рис. 8.1. Последовательность процедур при применении метода экспертной оценки

1. Экспертное оценивание ранжированием

В случае если результат оценивания качества эксперты представляют в виде ранжированного ряда, то численное определение итоговых численных оценок качеств состоит в следующем:

1) все объекты оценивания (изделия, свойства) нумеруются произвольно;

2) эксперты ранжируют объекты по шкале порядка;

3) ранжированные ряды объектов, составленные экспертами, сопоставляются;

Пример. Пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей шкале порядка:

Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до t. В нашем примере t=1.

4) определяются суммы рангов каждого из объектов экспертной оценки;

В рассматриваемом примере они таковы:

5) на основании полученных сумм рангов строят обобщенный ранжированный ряд;

Для нашего примера он имеет вид

6) обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, т.е . Об этом говорит сайт https://intellect.icu . коэффициенты их весомости,

рассчитываются по формуле:

где n — количество экспертов;

m — число оцениваемых показателей;

Qi, j — коэффициент весомости j-го показателя в рангах (баллах), который дал i-й эксперт

2. Особенности применения метода

Например, пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей

шкале порядка:

эксперт № 1 — Q5 < Q3 < Q2 < Q1 < Q6 < Q4 < Q7;

эксперт № 2 — Q5 < Q3 < Q2 < Q6 < Q4 < Q1 < Q7;

эксперт № 3 — Q3 < Q2 < Q5 < Q1 < Q6 < Q4 < Q7,

эксперт № 4 — Q5 < Q3 < Q2 < Q1 < Q4 < Q6 < Q7;

эксперт № 5 — Q5 < Q3 < Q1 < Q2 < Q6 < Q4 < Q7.

Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до m (m — количество оцениваемых объектов). В данном примере m = 7.

В рассматриваемом примере суммы рангов каждого из объектов экспертной оценки таковы:

Q1 — 4 + 6 + 4 + 4 + 3 = 21;

Q2 — 3 + 3 + 2 + 3 + 4 = 15;

Q3 — 2 + 2 + 1 + 2 + 2 = 9;

Q4 — 6 + 5 + 6 + 5 + 6 = 28;

Q5 — 1 + 1 + 3 + 1 + 1 = 7;

Q6 — 5 + 4 + 5 + 6 + 5 = 25;

Q7 — 7 + 7 + 7 + 7 + 7 = 35.

Ранжированный ряд, полученный всеми экспертами группы, имеет вид:

Q5 < Q 3 < Q2 < Q1 < Q6 < Q4 < Q7.

Расчеты по формуле для рассматриваемого примера дают следующие результаты:

Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и насколько

3. Коэффициент конкордации

Точность экспертных оценок определяют по согласованности мнений экспертов. Степень совпадения оценок экспертов,

входящих в комиссию, характеризует качество экспертизы и выражается коэффициентом конкордации:

где S — сумма квадратов отклонений рангов или баллов каждого объекта от среднего арифметического значения;

п — количество экспертов;

m — количество оцениваемых объектов.

Сумма квадратов отклонений рангов (S) от среднеарифметического их значения (Рсp) по всем объектам и экспертам находят по формуле:

где Qij — оценка в рангах, данная i-му объекту j-м экспертом;

Qcp — среднеарифметическое значение рангов.

Полная запись формулы коэффициента конкордации имеет следующий вид:

При W = 0 — абсолютная несогласованность, а при W = 1,0 —

полное совпадение мнений (оценок). Следовательно, 0 < W-< 1.

При экспертных методах оценки, в которых ранги окончательно не определяются, для нахождения коэффициента конкордации рассчитанные значимости объектов следует переводить

в ранги путем их ранжирования. В противном случае оценку степени согласованности мнений экспертов проводят по другим критериям.

В рассматриваемом здесь примере среднее арифметическое значение рангов Qср равно:

Сумма квадратов отклонений от среднего арифметического значения рангов

S = 1² + 5² + 11² + 13² + 5² + 15² + 8² = 630.

Следовательно, коэффициент конкордации в данном случае

Повысить точность экспертных оценок показателей качества можно, если произвести двукратное сопоставление и оценивание объектов, т.е. сначала это сделать в одной последовательности, а потом в противоположной

См. также

• теория принятия решений
• экспертая оценка
• SWOT- анализ

Надеюсь, эта статья об экспертная оценка с помощью метода ранжирования, была вам интересна и не так слона для восприятия как могло показаться, удачи в ваших начинаниях! Надеюсь, что теперь ты понял что такое экспертная оценка с помощью метода ранжирования, экспертное оценивание
и для чего все это нужно, а если не понял, или есть замечания,
то нестесняся пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории
Квалиметрия надежность и качество

Из статьи мы узнали кратко, но емко про экспертная оценка с помощью метода ранжирования

Обзор истории для метода ранжирования правил на основе полезности элемента в модели адаптивных правил [PeerJ]

В вашем браузере отключен Javascript. Включите Javascript для просмотра PeerJ.

Чтобы повысить прозрачность, PeerJ использует систему «необязательных подписанных отзывов и истории».
Это принимает две формы: (1) рецензентам рекомендуется, но не требуется указывать свои имена.
(если они это сделают, то на странице их профиля будут записаны статьи, которые они просмотрели),
и (2) авторам предоставляется возможность воспроизвести всю свою историю рецензирования.
вместе с опубликованной статьей (в этом случае предоставляется полный процесс рецензирования,
включая исправления, опровержения и письма с решениями редактора).

Новичок в общедоступных обзорах? Узнайте больше о необязательных подписанных отзывах
и как лучше написать опровержение.

Версия 0.2
(принято)

Билал Алатас

·

31 мая 2022 г.

·
Академический редактор

Принять

Спасибо за исправление и за рассмотрение всех необходимых замечаний. Ваша статья принята к публикации. Предлагаемые цитаты добавлять не нужно.

[# Примечание персонала PeerJ — это решение было рассмотрено и одобрено Дэниелом С. Кацем, редактором отдела компьютерных наук PeerJ, освещающим этот раздел #]

Каннимуту Субраманиан

·

21 мая 2022 г.

Базовая отчетность

Авторы приложили значительные усилия для улучшения рукописи. Но несколько ссылок, которые я предложил, которые тесно связаны с их работой, не изучены и не процитированы. Следовательно, я предлагаю авторам изучить и соответствующим образом пересмотреть статью.

Экспериментальный дизайн

Авторы приложили значительные усилия для улучшения рукописи. Но несколько ссылок, которые я предложил, которые тесно связаны с их работой, не изучены и не процитированы. Следовательно, я предлагаю авторам изучить и соответствующим образом пересмотреть статью.

Достоверность результатов

Авторы приложили значительные усилия для улучшения рукописи. Но несколько ссылок, которые я предложил, которые тесно связаны с их работой, не изучены и не процитированы. Следовательно, я предлагаю авторам изучить и соответствующим образом пересмотреть статью.

Дополнительные комментарии

Авторы приложили значительные усилия для улучшения рукописи. Но несколько ссылок, которые я предложил, которые тесно связаны с их работой, не изучены и не процитированы. Следовательно, я предлагаю авторам изучить и соответствующим образом пересмотреть статью.

Скачать
Версия 0.2 (PDF)

Скачать авторское опровержение

— Отправлено
20 мая 2022 г.

Версия 0.1
(первоначальная заявка)

Билал Алатас

·

11 апр. 2022 г.

·
Академический редактор

Основные изменения

Ваша рукопись не рекомендована к публикации в текущем виде. Тем не менее, мы рекомендуем вам ответить на опасения и критические замечания рецензентов и повторно отправить рукопись после того, как вы соответствующим образом обновите ее.

[# Примечание персонала PeerJ: политика PeerJ заключается в том, что дополнительные ссылки, предлагаемые в процессе рецензирования, должны быть включены только в том случае, если авторы согласны с тем, что они актуальны и полезны #]

Каннимуту Субраманиан

·

11 апреля 2022 г.

Базовая отчетность

Автор предложил новый метод поиска интересных шаблонов с использованием коэффициента подъема, который включает в себя как полезность, так и частоту наборов элементов в базе данных. Основным моментом этой статьи является то, что авторы предложили метод ранжирования правил для извлечения правил ассоциации на основе полезности. Статья хорошо структурирована и написана. Хотя в этой работе рассматриваются проблемы существующей работы по интеллектуальному анализу данных на основе утилит, необходимо внести несколько исправлений.

1.1. Введение должно четко решать вопросы существующих работ.
1.2. Необходимо провести всесторонний обзор интеллектуального анализа данных на основе полезности. Следует изучить и процитировать следующие недавние ссылки.
i) https://www.inderscienceonline.com/doi/abs/10.1504/IJITM.2015.066056
ii) https://www.tandfonline.com/doi/full/10.1080/08839514.2014.891839
iii) http://www. cai2.sk/ojs/index.php/cai/article/view/1333
iv) https://ieeexplore.ieee.org/abstract/document/6416812/
в) https://link.springer.com/article/10.1007/s11036-019-01385-6
vi) https://link.springer.com/article/10.1007/s12652-020-02187-5
vii) https://publications.waset.org/9997900/a-distributed-approach-to-extract-high-utility-itemsets-from-xml-data
viii) https://link.springer.com/article/10.1007/s11063-022-10793-x

1.3. Уравнения должны быть представлены с использованием номеров уравнений.
1.4. Поток алгоритма должен быть четко объяснен.
1.5. Алгоритм должен быть написан четко с необходимыми отступами.

Экспериментальный план

2.1 Результаты эксперимента требуют подробного объяснения.
2.2 Описание набора данных отсутствует.
2.3 Экспериментальные результаты должны быть подкреплены необходимыми графиками с учетом различных факторов, таких как количество сгенерированных правил, поддержка, полезность, достоверность и т. д.

Достоверность результатов

3.1 Достоверность и результаты неясно объяснены.
3.2 Статистический анализ может быть выполнен.

Дополнительные комментарии

Предлагаемую работу можно пояснить на подходящем примере. Автор может использовать небольшой набор данных для этого объяснения.

Элиф Варол Алтай

·

11 апреля 2022 г.

Базовая отчетность

Без комментариев

Экспериментальный план

Без комментариев

Достоверность результатов

Без комментариев

Дополнительные комментарии

полученный с использованием частоты и полезности предмета. Я хотел бы попросить авторов разъяснить некоторые вопросы до принятия этой статьи. Поэтому рекомендую доработку.
• Пожалуйста, добавьте сравнительное исследование. Следует добавить сравнение между вашим алгоритмом и другими.
• Ограничения методологий анализа правил ассоциации, предложенных в этой работе, должны быть подробно обсуждены.
• При рассмотрении псевдокодов предлагаемого метода видно, что такие понятия, как D, S, X и U, написаны на другом языке. Пожалуйста, пишите их все на одном языке и давайте псевдокоды в виде «приложений».
• Необходимо провести анализ сложности.
• На рисунке 1 «внешний» следует зафиксировать как «внешний»
.
• Вы используете конкретную базу данных из Таблицы 1. Укажите причины, по которым вы выбрали эти наборы данных.
• Количество транзакций невелико во всех наборах данных. Следует добавить больший набор данных и провести анализ больших наборов данных.
• Хотелось бы увидеть более подробный анализ масштабируемости предложенного алгоритма. Каковы основные теоретические и практические преимущества предложенного алгоритма? Как насчет потребления памяти и размеров проблем (особенно больших данных)?
• «II. 2 и II.3», используемые в « Таблицах II.2 и II.3, показывают, что число…» следует исправить.
• Указано ли значение поддержки в процентах в результатах испытаний? В статье не указано?
• Авторы упомянули некоторые исследования в литературе (например, ELECTRE, ELECTRE II, AHP). Они также должны сравнить предлагаемый метод с существующими методами в литературе.
• Свойства используемых наборов данных уже приведены в таблице 1. Они снова приведены в таблице 2. Если они будут приведены в таблице 1 отдельно, их следует удалить из таблицы 2. Таблица 1 не нужна, если будет также таблица 2. быть данным.

Скачать
Исходное представление (PDF)

— Отправлено
21 марта 2022 г.

Весь текст и материалы, представленные на этой странице истории рецензирования, доступны в соответствии с лицензией Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания оригинального автора и источника.

Экспертная оценка | Grants.nih.gov

На этой странице:

• Обзор
• Первый уровень проверки — группы научной проверки
  • Роли экспертной оценки и обзор собрания
  • Подсчет очков
  • Сводное заявление
  • Обращения
• Второй уровень проверки — Консультативный совет/Правление
• Пост-ревью

Обзор

Основные ценности рецензирования побуждают NIH стремиться к высочайшему уровню этических стандартов и формируют основу для законов, правил и политик, регулирующих процесс рецензирования NIH. Система двойной экспертной оценки NIH предусмотрена законом в соответствии с разделом 49.2 Закона о службе общественного здравоохранения и федеральных постановлений, регулирующих «Научную экспертную оценку заявок на исследовательские гранты и контрактных проектов на исследования и разработки». Политика NIH направлена ​​на продвижение процесса, при котором заявки на гранты, подаваемые в NIH, оцениваются на основе процесса, который стремится быть справедливым, равноправным, своевременным и свободным от предвзятости.

Первый уровень проверки осуществляется Научной группой проверки (SRG; также именуемой исследовательскими секциями), состоящей в основном из нефедеральных ученых, обладающих опытом в соответствующих научных дисциплинах и текущих областях исследований.

Второй уровень проверки осуществляется Национальными консультативными советами или советами институтов и центров (IC). Советы состоят из представителей науки и общественности, выбранных за их опыт, интерес или активность в вопросах, связанных со здоровьем и болезнями.

К финансированию могут быть рекомендованы только те заявки, которые рекомендованы к утверждению как SRG, так и Консультативным советом. Окончательные решения о финансировании принимаются директорами ИС.

Кандидаты могут использовать eRA Commons для:

• Найдите контактную информацию для назначенной программы и научных экспертов
• Найти даты обзорных встреч и заседаний совета
• Найдите оценку приоритета и итоговое заявление после рассмотрения заявки.

Первый уровень обзора

Первоначальные встречи по экспертной оценке проводятся либо Центром научного обзора (CSR), либо одним из NIH IC с полномочиями на финансирование, как указано в объявлении о возможности финансирования (FOA). Список секций исследования CSR, списки их членов и темы, рассматриваемые этими секциями исследования, можно найти на веб-сайте CSR. Кандидаты могут использовать CSR Assisted Referral Tool (ART), чтобы определить разделы исследования CSR, которые могут подойти для рассмотрения вашего заявления.

В каждом FOA указаны все критерии рассмотрения и соображения, которые будут использоваться при оценке заявок, поданных на этот FOA. Запросы на подачу заявок (RFA) и некоторые Объявления о программах могут включать дополнительные критерии проверки и соображения. Другие типы возможностей финансирования (например, для строительства или подачи заявок на получение стипендии) могут использовать другие критерии и соображения рассмотрения (см. Краткий обзор критериев рассмотрения). Если в FOA не указано иное, будут применяться стандартные процедуры проверки NIH, включая систему оценки NIH, описанную в NOT-OD-09.-024.

Объявления о собраниях по экспертной оценке в Федеральном реестре. Собрания закрыты для публики, хотя некоторые собрания могут быть открытыми; Федеральный регистр предоставляет подробную информацию о каждой встрече.

A. Роли экспертной оценки и обзор собрания

Сотрудник по научной проверке :

Каждую SRG возглавляет научный сотрудник (SRO). SRO является внештатным научным сотрудником NIH и назначенным федеральным должностным лицом, ответственным за обеспечение объективной и справедливой первоначальной экспертной оценки каждой заявки и соблюдение всех применимых законов, правил и политик.

СРО:

• Проанализируйте содержимое каждого приложения и проверьте его на полноту.
• Документируйте и управляйте конфликтами интересов.
• Нанимать квалифицированных рецензентов на основе научной и технической квалификации и других соображений, в том числе:
  1. Авторитет в своей научной области
  2. Преданность высококачественным, честным и объективным обзорам
  3. Умение работать коллегиально в группе
  4. Опыт рассмотрения исследовательских грантов
  5. Сбалансированное представление
• Назначайте рецензентам заявки на подготовку критического анализа и присвоение баллов по отдельным критериям.
• Посещать и контролировать административные и нормативные аспекты совещаний по экспертной оценке.
• Подготовьте сводные отчеты по всем рассмотренным заявкам.

Члены СРГ

Стул:

• Выступает модератором обсуждения научно-технических достоинств рассматриваемых заявок.
• Также выступает в качестве рецензента на собрании.

рецензентов:

• Объявить о конфликте интересов с конкретными приложениями в соответствии с рекомендациями NIH
  • Подробнее см. на странице «Управление конфликтом интересов на странице экспертной оценки грантов и контрактов NIH».
• Получите доступ к заявкам на гранты примерно за шесть недель до встречи по экспертной оценке.
• Убедитесь, что они сохраняют конфиденциальность информации о рецензировании (см. «Целостность и конфиденциальность» в рецензировании NIH).
• Подготовьте письменный критический анализ (по указанию научного эксперта) для каждой назначенной заявки на основе критериев обзора и суждения о достоинствах.
• Присвойте числовую оценку каждому оцениваемому критерию проверки (см. «Краткий обзор критериев проверки»).
• Давать рекомендации относительно научных и технических достоинств рассматриваемых заявок в виде окончательных письменных комментариев и числовых оценок.
• Давать рекомендации по защите людей; включение женщин, меньшинств и детей в клинические исследования; благополучие позвоночных животных; и другие области, применимые к заявке (см. руководство для рецензентов по защите и включению людей, эмбриональным стволовым клеткам человека и позвоночным животным).
• Дайте рекомендации относительно уместности бюджетных запросов (см. Информация о бюджете для рецензентов).

Другой персонал NIH

• Федеральным должностным лицам, которым необходимо знать или у которых есть соответствующие обязанности, разрешается посещать закрытые обзорные собрания.
• Сотрудники института/центра NIH или другие федеральные сотрудники, желающие посетить собрание SRG, должны получить предварительное разрешение от ответственной SRO. Эти лица могут вносить вклад в управление программами или грантами по усмотрению СРО.

Заявители

• Должен поддерживать целостность процесса рецензирования, не связываясь с рецензентами, чтобы повлиять на результат рецензирования; не отправлять информацию непосредственно рецензенту; и не получать доступ к информации, связанной с обзором. Любое из этих действий имеет последствия (см. Честность и конфиденциальность в экспертной оценке NIH).

B. Критерии экспертной оценки и соображения

Обзор критериев для исследовательских грантов и соглашений о сотрудничестве (критерии для других типов грантов, таких как гранты на обучение, см. Краткий обзор критериев проверки )

Миссия NIH состоит в том, чтобы поддерживать науку в поисках знаний о биологии и поведении живых систем и применять эти знания для продления здоровой жизни и снижения заболеваемости и инвалидности. Заявки, подаваемые в поддержку миссии NIH, оцениваются на предмет научной и технической ценности через систему экспертной оценки NIH.

Общее воздействие : Рецензенты присваивают общую оценку воздействия, отражающую их оценку вероятности того, что проект окажет устойчивое и сильное влияние на задействованную(ые) область(и) исследований, принимая во внимание следующие критерии обзора и дополнительные критерии обзора (применительно к предлагаемому проекту).

Критерии оценивания

• Значимость
• Следователь (и)
• Инновации
• Подход
• Среда

Дополнительные критерии проверки. Применительно к предлагаемому проекту рецензенты будут оценивать следующие дополнительные пункты при определении научных и технических достоинств и при выставлении общей оценки воздействия, но не будут давать отдельные баллы по этим пунктам.

• Хронология исследования (конкретно для приложений, связанных с клиническими испытаниями)
• Защита людей
• Включение женщин, меньшинств и детей
• Позвоночные животные
• Биологические опасности
• Повторная отправка
• Обновление
• Редакция

Дополнительные соображения по проверке. Применительно к предлагаемому проекту рецензенты рассмотрят каждый из следующих пунктов, но не будут ставить баллы по этим пунктам и не должны учитывать их при выставлении общей оценки воздействия.

• Заявки от иностранных организаций
• Выберите агента
• Планы совместного использования ресурсов
• Аутентификация ключевых биологических и/или химических ресурсов
• Поддержка бюджета и периода

C. Подсчет очков

NIH использует 9-балльную шкалу оценок (1 = исключительное качество; 9 = плохое) для всех приложений; одна и та же шкала используется для оценки общего воздействия и оценки критерия (Руководство по подсчету баллов).
Перед собранием SRG каждый рецензент, назначенный для рассмотрения заявки, выставляет отдельный балл по каждому из (как минимум) пяти критериев обзора (т. е. значимость, исследователь(и), инновации, подход и среда для исследовательских грантов и соглашений о сотрудничестве; см. Краткий обзор критериев). Для всех заявок индивидуальные оценки назначенных рецензентов и участников обсуждения по этим критериям сообщаются заявителю.

Кроме того, каждый рецензент, назначенный для приложения, дает предварительную общую оценку воздействия для этого приложения. На многих собраниях по рассмотрению предварительные оценки используются для определения того, какие заявки будут подробно обсуждаться на собрании. Для каждой заявки, которая обсуждается на собрании, окончательная оценка воздействия присваивается каждым правомочным членом комитета (без конфликта интересов), включая назначенных рецензентов. Оценка каждого члена отражает его/ее оценку общего воздействия, которое проект может оказать на задействованную(ые) область(и) исследований.

Окончательный общий балл воздействия для каждого обсуждаемого приложения определяется путем подсчета среднего балла из итоговых баллов воздействия всех правомочных участников и умножения среднего значения на 10; окончательный общий балл воздействия указывается в сводном отчете. Таким образом, окончательные общие оценки воздействия варьируются от 10 (высокое воздействие) до 90 (низкое воздействие). Числовые оценки воздействия не указываются для приложений, которые не обсуждаются (ND), которые могут быть отмечены как ++ на лицевой странице сводного отчета и обычно занимают нижнюю половину приложений.

Кандидатам, которые только что получили свои баллы или итоговые отчеты, следует обратиться к нашей странице «Следующие шаги» для получения подробных инструкций. Кандидаты, которым нужна консультация помимо тех, что доступны в Интернете, могут обратиться к должностному лицу программы NIH, указанному в верхней части сводного заявления.

Заявка может быть признана SRG нерекомендованной для дальнейшего рассмотрения (NRFC), если в ней отсутствуют значительные и существенные достоинства; представляет серьезные этические проблемы при защите людей от исследовательских рисков; или представляет серьезные этические проблемы при использовании позвоночных животных, биологических опасностей и/или отдельных агентов. Заявки, обозначенные как NRFC, не переходят на второй уровень экспертной оценки (Национальный консультативный совет/совет), поскольку они не могут быть профинансированы.

D. Сводный отчет

Заявкам, которые не обсуждаются на собрании, будет присвоено обозначение «ND» (которое может быть указано как ++ на лицевой странице сводного заявления) в качестве общей оценки воздействия, но заявитель, а также сотрудники NIH будут просматривать письменные комментарии и оценки от назначенных рецензентов и участников обсуждения по каждому из критериев оценки, получивших оценку, в качестве отзывов к их сводному заявлению.

Понимание процентиля

• Процентиль — это приблизительный процент приложений, получивших более высокий общий балл воздействия в разделе исследования за последний год (см. блог о линиях выплат, процентилях и показателях успеха).
• Для приложений, рассматриваемых в специальных разделах исследования, для расчета процентилей может использоваться другая база.
• Все процентили представляются как целые числа.
• Только часть всех приложений получает процентили. Типы приложений, которые распределяются по процентам, различаются в разных институтах и ​​центрах NIH.
• В итоговом отчете будет указана база, которая использовалась для определения процентиля.

E. Апелляции

NIH создал систему обжалования коллегиальной проверки (см. NOT-OD-11-064), чтобы предоставить следователям и организациям-заявителям возможность добиваться повторного рассмотрения результатов первоначальной проверки, если после рассмотрения сводного заявления они считают, что процесс проверки был ошибочным. причины предвзятости рецензента, конфликта интересов, отсутствия надлежащего опыта или фактических ошибок одного или нескольких рецензентов, которые могли существенно изменить результат рецензирования. Эта политика не применяется к апелляциям технической оценки контрактных проектов НИОКР в процессе экспертной оценки NIH, апелляциям решений NIH о финансировании или апелляциям решений, касающихся продления награды MERIT.

Второй уровень проверки — консультативный совет или правление

Кто проверяет приложение?

Консультативный совет/правление потенциального присуждающего награду института/центра осуществляет проверку второго уровня (см. страницу «Консультативные советы или советы»). Консультативные советы/советы состоят из ученых из заочного исследовательского сообщества и представителей общественности (Информация Федерального консультативного комитета NIH). Члены выбираются соответствующим IC и утверждаются Министерством здравоохранения и социальных служб. Для некоторых комитетов члены назначаются президентом Соединенных Штатов.

Процесс рекомендации

• Сотрудники программы NIH изучают заявки и рассматривают общие оценки воздействия, полученные в процессе экспертной оценки, процентные рейтинги (если применимо) и краткие заявления в свете приоритетов института/центра.
• Сотрудники программы предоставляют Консультативному совету/совету план финансирования грантов. Члены совета имеют доступ к заявкам и кратким заявлениям в ожидании финансирования этого IC в этом раунде совета.
• Члены Совета проводят Специальную проверку Советом заявок на гранты от исследователей, которые в настоящее время получают 1 миллион долларов или более в виде прямых расходов на финансирование NIH для поддержки грантов исследовательских проектов (см. NOT-OD-12-140). Этот дополнительный обзор должен определить, следует ли предоставлять дополнительные средства исследователям, которые уже хорошо поддерживаются, и не представляет собой предел финансирования NIH.
• Консультативный совет/совет также рассматривает цели и потребности института/центра и консультирует директора института/центра относительно решений о финансировании.
• Директор Института/Центра принимает окончательные решения о финансировании на основании рекомендаций персонала и Консультативного совета/Правления.

Пост-ревью

Не финансируется — Следующие шаги ?

NIH получает тысячи заявок на каждый раунд приема заявок, и конкуренция за финансирование может быть жесткой. Если исходная заявка не финансируется, заявители могут повторно подать заявку, внеся изменения, которые касаются рецензентов, или они могут подать новую заявку. Как только заявитель получает сводное заявление, его направляют к информации о следующих шагах, и он может обратиться за руководством к должностному лицу программы NIH, назначенному для его заявления.

Финансируемая оценка — следующие шаги?

Некоторые IC публикуют линии выплат в рамках своих стратегий финансирования, чтобы помочь заявителям определить вероятность получения финансирования. Баллы заявки можно сравнивать только с линией выплат за финансовый год, когда заявка будет рассматриваться на предмет финансирования, что не обязательно совпадает с годом ее подачи. В начале финансового года может быть задержка на несколько месяцев для определения линий выплат. Если заявка назначена IC, которая не объявляет линию выплат, должностное лицо программы, указанное в верхней части сводного заявления, может дать рекомендации относительно вероятности финансирования. После заседания Консультативного совета, если заявка будет присуждена, заявитель будет тесно сотрудничать с должностным лицом программы финансирующего института или центра по научным и программным вопросам, а также с сотрудником по управлению грантами по бюджетным или административным вопросам. Специалист по управлению грантами свяжется с заявителем для сбора информации, необходимой для подготовки гранта.

Как добровольно стать рецензентом
Для тех, кто заинтересован в добровольном участии в обзорных комиссиях NIH, см.