Недостатки ранжирования: Недостатки метода ранжирования

Принудительная система ранжирования

В современном мире существует общее предположение, что возраст сотрудников влияет на эффективность компании. Некоторые компании вынудили программы ранжирования периодически измерять производительность сотрудников. У них есть недостатки в способах измерения производительности пожилых сотрудников, что приводит к неудовлетворенности работой, проблемам со здоровьем у пожилых сотрудников, а иногда и к потере работы пожилыми сотрудниками. В этой презентации я хочу обсудить. «Почему пожилые сотрудники во многих организациях вынуждены оцениваться ниже номинала, независимо от их фактической работы в номинальном или отличном состоянии?»

Что такое принудительное ранжирование?

Принудительное ранжирование — это основанная на производительности система оценки, используемая в большинстве организаций для ранжирования своих сотрудников друг против друга на основе определенной схемы или дизайна. В прошлом против некоторых крупных компаний, таких как Ford, Goodyear и Capital One, возбуждалось судебное дело за дискриминацию при приеме на работу по возрасту (Osborne & McCann, 2004, стр. 6).

Истинные усилия сотрудников в лучшем случае неточно фиксируются объективными цифрами. Организации часто используют субъективную оценку для оценки эффективности работы сотрудников. Существуют убедительные доказательства того, что субъективные оценки эффективности имеют тенденцию быть более предвзятыми. Принято использовать принудительное распределение или кривую жизнеспособности для классификации сотрудников на основе их производительности (Berger et al., 2013).

Недостатки принудительной системы ранжирования

Сотрудников оценивают по сравнению с группой сверстников на основе их субъективного вклада в организацию, который обычно хорошо определяется и поддается количественной оценке, но есть также вклад, вносимый сотрудником, который не учитывается или не виден менеджерами во всем процессе принудительного ранжирования. Часто список пунктов, используемых для оценки производительности, сформулирован расплывчато, и они часто означают разные вещи для разных оценщиков в группе. Аттестация также не связана с потребностями в обучении и развитии пожилых сотрудников (Singh et al., 1981, p. 332). Из моего опыта работы со многими организациями за последние несколько лет я убедился, что есть несколько косвенных и не поддающихся количественной оценке вкладов пожилых сотрудников, которые не учитываются в процессе ранжирования.

Что такое поддающиеся и не поддающиеся количественной оценке вклады.

Поддающиеся количественной оценке вклады можно измерить количественно. Примером может служить измерение количества строк качественного кода, написанного сотрудником в определенный день, или количества допустимых дефектов, обнаруженных за день сотрудником в программном коде.

Неквалифицируемые взносы либо не указываются в качестве меры ранжирования в процессе принудительного ранжирования, либо они не могут быть измерены в количественном выражении. В индустрии программного обеспечения пожилые сотрудники часто имеют предыдущий опыт работы в аналогичных проектах или программах, и они предоставляют ценные отзывы на всех этапах жизненного цикла разработки программного обеспечения, во время встреч, мозговых штурмов или любых обзорных сессий. Часто эти вклады не измеряются в процессе принудительного ранжирования или им придается низкий вес. Программные технологии постоянно меняются, и усилия пожилых сотрудников по изучению новых технологий считаются неэффективностью их выполнения.

Престарелые сотрудники и низкие рейтинги производительности. Усилия пожилых сотрудников, которые тратят на отзывы и обзоры, остаются незамеченными. Моральная поддержка и уверенность пожилых сотрудников в успешном развитии проекта или программы также остается незамеченной в процессе принудительного ранжирования во многих организациях. Это приводит к низкой оценке результатов, снижению самооценки, созданию предвзятости в команде и утрате надежды пожилых сотрудников на ранжирование в будущем (Kuhnen & Tymula, 2012).

Действия, необходимые для исправления таких недостатков в системе

Каждая организация не на организационном уровне, а на основе своего индивидуального проекта или программы должна создавать сегменты подролей для пожилых сотрудников с соответствующими целями. Они должны начать правильно оценивать пожилых сотрудников в процессе принудительного ранжирования. Проведенное исследование ролевой шкалы результатов доказывает успешность этой идеи (Welbourne et al., 1998). Будь то глобальная проблема или управленческая компенсация в организации, вопрос справедливости и справедливости выходит на первый план (Singh et al., 1981).

Необходимо принять меры для выявления недостатков в процессе принудительного ранжирования в каждой организации и сделать его гибким, а также адаптировать процесс с учетом потребностей каждого проекта или программы. Им следует рассмотреть и исправить ошибки, если таковые имеются, в текущем процессе оценки. Организации следует прекратить принудительное ранжирование, если они не могут помочь в создании культуры справедливости и справедливости по отношению к пожилым сотрудникам. Пожилые сотрудники ценны для организации, и их увольнение в долгосрочной перспективе окажет на нее только негативное влияние.

Post Views: 104

Использование моделей ранжирования проектов . Набор инструментов для управления проектами

Когда использовать модель. Хотя данные методы могут применяться для проектов любого типа, особенно хорошие результаты достигаются на ранних фазах жизненного цикла проекта – когда принимаются основные решения по выбору проектов. Возьмем, например, проекты разработки новых продуктов. Когда проект находится на ранних фазах, его рыночная отдача лежит в отдаленном будущем и может даже не рассматриваться в качестве критерия достоинств. Зато критерием, часто учитываемым в моделях ранжирования, становятся технические достоинства, и этот критерий может оказаться более значимым, чем экономическая отдача. Модели ранжирования проектов равно хорошо работают и с большими, и с малыми проектами других типов. Окончательная оценка обычно используется с двумя целями:

1. Для принятия решения продолжать/прекратить. Моменты принятия решения о продолжении или прекращении работ расположены в конкретных местах процесса управления, часто по завершении фаз проекта. Их предназначение – помочь решить, какие новые проекты инициировать и какие из выполняемых продолжить или прекратить.


2. Для расстановки приоритетов проектов. На данном этапе производятся выделение ресурсов в новые проекты, которые решено выполнять, а также подготовка полного списка новых и уже существующих проектов, куда уже выделены ресурсы, и расстановка приоритетов внутри этого списка.

Сравнение модели ранжирования проектов и аналитического иерархического процесса (AHP) – двух рассматриваемых нами инструментов ранжирования проектов – представлено в разделе «Аналитический иерархический процесс».

Время использования. Хотя принципы, лежащие в основе моделей ранжирования проектов, сравнительно просты, разработка эффективной модели может стать очень времяемким делом. В частности, в нашем примере компании потребовалось несколько лет для того, чтобы тщательно отобрать, описать, дать рабочие определения и протестировать каждый критерий на состоятельность и надежность. Эта детальная модель оценки включила в себя 19 критериев и была предназначена для ранжирования проектов стратегического роста. Применение модели подобного типа для сортировки, оценивания и ранжирования большой группы проектов вполне может занять один-два дня у каждого из тех, кто принимает решения. Иногда при принятии решений используются готовые модели для оценивания меньших, тактических проектов, что, как правило, требует нескольких часов работы (см. врезку «Советы по использованию моделей ранжирования проектов»).

Выгоды. Ценность модели ранжирования проектов состоит в возможности ее адаптации к конкретной ситуации, в которой принимается решение, с учетом многочисленных целей и критериев, имеющих характер как объективных данных, так и суждений, которые считаются важными [2]. Это позволяет избежать чрезмерного акцентирования на финансовых критериях, которые, как правило, не отличаются высокой надежностью на ранних этапах жизни проекта. При таком подходе принятие решений вынужденно базируется на тщательном рассмотрении каждого проекта с точки зрения единой совокупности критериев; особое внимание здесь уделяется критически важным критериям, поскольку одни критерии более важны, чем другие (что устанавливается путем присвоения весов). И наконец, модели ранжирования проектов могут быть подвергнуты анализу чувствительности – определению того, какое изменение весовых коэффициентов требуется для получения значительного изменения приоритетов.

Преимущества и недостатки. Существует множество точек зрения на преимущества и недостатки модели ранжирования проектов. Рассмотрим, в частности, следующие преимущества:

• модель концептуально проста. Она сводит сложную процедуру выбора и принятия решения к удобному в практическом использовании набору конкретных вопросов и выдает на выходе единообразные оценки, что существенно облегчает отбор проектов. Возможно, именно это является главной причиной широкого распространения моделей ранжирования проектов;

• она полностью прозрачна. Любой человек может изучить модель, проверить результат ее применения и понять, почему рейтинг получился именно таким;

• похоже, она работает. Несколько проведенных исследований показали, что модель способствует принятию верных решений. Представители Procter & Gamble утверждают, что их компьютерные модели ранжирования проектов имеют 85%-ную предсказательную способность [1];

• ее легко использовать. Менеджеры, вовлеченные в процесс отбора проектов, охарактеризовали модели ранжирования как инструменты, отличающиеся наибольшей легкостью в использовании и в высшей степени подходящие для отбора проектов.

СОВЕТЫ ПО ИСПОЛЬЗОВАНИЮ МОДЕЛЕЙ РАНЖИРОВАНИЯ ПРОЕКТОВ

Исходя из практических наблюдений, можно порекомендовать следующий подход к использованию моделей ранжирования проектов:

• оценивание должно проводить высшее руководство. Если определение оценок выполняется командами проектов, оно может оказаться предвзятым, возможно в пользу своих проектов;

• придать процессу вид дискуссии. Применение модели в режиме дискуссии обеспечивает участие руководителей высшего звена, поскольку они совместно рассматривают каждый проект, обсуждают его на соответствие каждому критерию, оценивают и добиваются консенсуса;

• использовать наглядную карту оценок. Когда каждому человеку, принимающему решение, предоставлена клавиатура, он может голосовать анонимно, но его голос будет немедленно введен в компьютер и результаты голосования появятся на большом экране.

Если говорить о недостатках моделей ранжирования проектов, можно отметить следующее [2]:

• мнимая точность. Использование моделей неявно подразумевает, что полученные с их помощью результаты имеют высокую точность. На самом деле это отнюдь не так, и полученные оценки часто случайны. Именно поэтому моделями ранжирования проектов нельзя злоупотреблять, а их результаты не следует воспринимать как данность;

• потенциальная неэффективность распределения недостаточных ресурсов. Дело здесь в том, что модели ранжирования проектов не накладывают ограничений на требуемые ресурсы при максимизации оценки проекта – в отличие от ряда экономических методов, которые это делают;

• расход времени. Этот недостаток должен рассматриваться в свете важности принимаемых решений. В том случае, когда решения действительно являются ключевыми, на них следует потратить дополнительное время.

Вариации. Основные вариации в использовании моделей тесно связаны с такой их особенностью, как затраты времени. В попытках уменьшить время, необходимое на отбор проектов, компании ищут другие пути. Вместо того чтобы оценивать проекты силами высшего руководства и практиковать проведение дискуссий, в некоторых компаниях менеджеры сначала на совещании выполняют предварительную сортировку проектов и деление их на несколько групп по важности, а затем переходят к индивидуальному голосованию внутри групп. Другие опираются на оценки, выставленные отдельными лицами до проведения совещания. И хотя этот подход очень эффективен в смысле уменьшения затрат времени, он лишает людей, принимающих решение, возможности коллегиального изучения и обсуждения каждого фактора и достижения консенсуса. В редких случаях существует практика предварительного оценивания проектов силами самих проектных команд, после чего выставленные оценки выносятся на суд менеджеров, которые их принимают или опровергают.

Адаптация моделей ранжирования проектов под нужды пользователя. Хотя модели ранжирования проектов – это очень полезные инструменты, необходимо понимать, что рассмотренные нами варианты носят общий характер и, как следствие, требуют адаптации под конкретные особенности и проекты компании. Ниже мы приведем ряд тезисов, касающихся такой адаптации.


КОНТРОЛЬ МОДЕЛЕЙ РАНЖИРОВАНИЯ ПРОЕКТОВ

Такой контроль позволяет убедиться в том, что модель ранжирования проектов правильно структурирована и должным образом применяется. Он должен:

• основываться на проектных предложениях, стратегических и тактических планах, а также исторической информации;

• включать в себя уместные в данной ситуации критерии с весовыми коэффициентами и градуированными шкалами для оценки;

• оценивать каждый проект по каждому критерию, умножать значения критериев на их весовые коэффициенты, после чего суммировать результат по всем критериям;

• выдавать одиночную оценку для каждого проекта;

• обеспечивать возможность ранжирования проектов.

Данный текст является ознакомительным фрагментом.

Что они узнают? — Проблема с рейтингами колледжей

Основные системы рейтингов неоднозначно относятся к тому, чему учат в школах и изучают ли студенты что-либо ценное.

Хуже того, они помогают повысить стоимость обучения в колледже и снизить академические стандарты.

«Рейтинговые системы обычно используют данные, которые легко собрать, не обязательно наиболее значимые данные».

—Challenge Success, Стэнфордский университет

Рейтинги колледжей вынуждают учебные заведения сосредотачиваться на престиже, а не на обучении

Поскольку так много школ борются за внимание старшеклассников, неудивительно, что семьи жаждут информации, которая поможет им сориентироваться в поиске колледжа. Растущее число рейтингов колледжей призвано помочь. Но то, что они измеряют, имеет мало общего с тем, чему учат в колледжах; насколько хорошо они готовят студентов к карьере, обществу и гражданству; или что студенты на самом деле изучают.

Однако, поскольку рейтинги колледжей очень важны — как для повышения престижа вуза, так и для подачи заявок от студентов — колледжи и университеты распределяют ресурсы с учетом критериев ранжирования. В результате учебные заведения тратят больше денег в местах, которые практически ничего не делают для улучшения качества образования учащихся. Исследование 100 ведущих университетов, проведенное в 2021 году, показало, что около четверти из них делают повышение рейтинга явной целью своего стратегического плана.

Большинство рейтинговых систем отвлекают энергию, внимание и ресурсы от учебной миссии колледжей и университетов. Проблема в том, что рейтинги легко усваиваются и отражают естественное человеческое стремление к престижу и важности. Но эти рейтинги вознаграждают все неправильные инвестиции и приоритеты, что приводит к искажению рынка высшего образования.

Например, модель ранжирования U.S. News придает больший вес «академической репутации студентов» (20%), чем любому другому отдельному входу. Репутация во многом определяется узнаваемостью имени и успехами в связях с общественностью — будь то школьные консультанты или старшие администраторы, отвечающие на опросы. Это означает, что колледжи и университеты, которые участвуют в конференциях по легкой атлетике NCAA Division 1, или которые имеют длинную и легендарную историю, или которые строят передовые исследовательские центры, или которые щедро тратят на коммуникации и маркетинг, могут повысить свой рейтинг — и все это без ущерба для здоровья. думал о том, что происходит в классе.

«США Новости зацикливаются на том, насколько избирательна школа. . . не о том, что происходит, когда ученики прибывают в свои школы. Это все равно, что судить о больнице по тому, насколько больны пациенты, когда они прибывают».

— Линн О’Шонесси, CBS NEWS, MoneyWatch

Рейтинги колледжей наносят ущерб учащимся из малообеспеченных семей и меньшинств

Исследования неоднократно показывали, что системы рейтингов искажают рынок высшего образования в ущерб учащимся из малообеспеченных семей. Школы чувствуют стимулы перераспределять ресурсы с помощи, основанной на потребностях, чтобы улучшить свой рейтинг, «покупая» успешных учеников независимо от финансовых потребностей. Это может привести к тому, что достойные учащиеся, окончившие среднюю школу с хорошими, а не отличными результатами SAT и ACT, останутся позади. Как В журнале Politico Magazine , задокументированном в 2017 году, система ранжирования побуждает университеты игнорировать студентов из малообеспеченных семей и представителей меньшинств. Таким образом, инструмент, якобы созданный для ранжирования колледжей и университетов, на практике подрывает одну из их важнейших функций в американском обществе: содействие социально-экономической мобильности.

«В то время, когда мы все должны быть обеспокоены финансовой эффективностью высшего образования, рейтинги U.S. News определенно не вознаграждают за это. . . Это так беспокоит меня».

— Кэрол Крист, ректор Калифорнийского университета в Беркли

Рейтинги колледжей повышают стоимость обучения и снижают стандарты они тратят деньги на. Их метод расчета «финансовых ресурсов на одного студента» учитывает «затраченные ресурсы». Это стимулирует раздувание администраций и создание новой инфраструктуры, а также сопутствующие затраты на техническое обслуживание и эксплуатацию. Иными словами, он не делает различий между категориями расходов, которые имеют мало общего с тем, что происходит в классе, и расходами, непосредственно связанными с качественным обучением. Университеты, которые тратят миллионы на субсидирование своих спортивных программ NCAA, также выигрывают в U.S. News & World Report рейтинга, в то время как те, кто эффективно обеспечивает высококачественное образование, ответственно распоряжаясь долларами за обучение и минимизируя долговую нагрузку выпускников, наказываются за это.

Поскольку при приеме на работу в большинство престижных учебных заведений большое внимание уделяется исследованиям, часто за счет специального обучения, система рейтинга вознаграждает учреждения, которые нанимают дорогостоящих научных сотрудников, которые могут проводить незначительное время в классе. Неудивительно, что Ф. Кинг Александр, бывший президент Университета штата Луизиана, сказал Politico он думает « U.S. News нанес больше вреда рынку высшего образования, чем какое-либо отдельное предприятие».

В результате рейтинговой игры семьи платят все больше и больше за образование, которое стоит все меньше и меньше. Опросы работодателей неоднократно показывали растущую неудовлетворенность навыками и знаниями недавних выпускников колледжей. Наиболее распространенные жалобы: выпускники не умеют критически оценивать сложные предметы; им трудно эффективно общаться устно и письменно; и им не хватает межкультурной беглости. Точно так же исследования неоднократно показывали, что пугающе высокая доля студентов — даже тех, кто учится в самых отборных учебных заведениях — добивается незначительных успехов в оценках критического мышления. Опросы удовлетворенности выпускников показали, что те, кто сообщает о том, что чувствуют себя лучше всего подготовленными к работе и имеют самые сильные положительные ретроспективные оценки своего опыта в кампусе, — это те, кто считает, что они столкнулись с проблемами в учебе.

Системы рейтингов должны быть разработаны таким образом, чтобы противодействовать этим тенденциям, наказывая учреждения, которые расточительно тратят деньги и позволяют разрушать учебные программы. К сожалению, самые популярные системы ранжирования делают обратное и ускоряют многие из худших тенденций.

«Мало доказательств того, что избирательность связана с показателями достижений учащихся, о которых они сами сообщают, в обучении, не говоря уже об вербальной, количественной или предметной компетентности, измеренной с помощью стандартизированных тестов. Этот вывод, который был постоянным на протяжении последних 40–50 лет, имеет значение для выбора колледжа, семейных финансов и государственной политики. . ».

— Мэтью Мэйхью и др., Как колледж влияет на студентов

Фрэнси умерла и Нелл Глюкман, «Колледжи все еще одержимы национальными рейтингами. Высшее образование, , 13 сентября 2021 г.

Роберт Морс и Эрик Брукс, «Критерии и веса рейтинга лучших колледжей», USNews. com , 9 сентября 2018 г. Рейтинги новостных колледжей способствуют экономическому неравенству в кампусе»9.0019 Politico Magazine, , 10 сентября 2017 г.

Challenge Success, «Соответствие рейтингам: почему вовлеченность колледжа важнее избирательности», октябрь 2018 г.

Валери Штраус, «Новости США изменили способ ранжирования колледжей Это все еще нелепо», The Washington Post , 12 сентября 2018 г.

Линн О’Шонесси, «15 вещей, которые нужно знать о рейтинге колледжей US News», The College Solution, 8 мая 2018 г.

Роберт Келхен , «Остерегайтесь сомнительных рейтингов колледжей», Washington Monthly, , 14 сентября 2018 г.

Томми Тран, «Академическая строгость связана с восприятием выпускниками ценности колледжа», Блог Gallup , 26 февраля 2018 г.

Стефани Маркен, «Кризис доверия к высшему образованию». , « Блог Gallup , 12 апреля 2019 г.

Валери Штраус, «Проблема с рейтингом новостей США за 2018 г. : мусор на входе, мусор на выходе», The Washington Post , 12 сентября 2017 г.

Рай Ривард, «Рейтинги Noise: «Что на самом деле нужно, чтобы попасть в топ-20 «Новостей США»?», Inside Higher Ed., 3 июня 2019 г..

Роберт Морс, «Ответы US News на критику лучших колледжей Politico», USNews.com , 13 сентября 2017 г. судить их. За последние десять лет такие инициативы, как Сан-Францисская декларация об оценке исследований и Лейденский манифест, подтолкнули университеты к переосмыслению того, как и когда использовать публикации и цитаты для оценки исследований и исследователей.

Использование рейтингов для оценки университетов также нуждается в переосмыслении. Эти рейтинговые таблицы, составленные Академическим рейтингом университетов мира (ARWU) и Всемирным рейтингом университетов Times Higher Education (THE WUR) и другими, определяют право на получение стипендий и другого дохода, а также влияют на то, где ученые решают работать и учиться. Правительства разрабатывают политику и отвлекают средства, чтобы помочь учреждениям в своих странах подняться в этом рейтинге. Исследователи во многих учреждениях, таких как мой, упускают возможности из-за своего места.

Два года назад Международная сеть обществ по управлению исследованиями (INORMS), объединение организаций по управлению исследованиями, пригласила меня возглавить новую рабочую группу по оценке исследований, в которую входят представители дюжины стран. С нашей первой встречи мы были единодушны в том, что нас больше всего беспокоит: необходимость более справедливого и ответственного рейтинга университетов. Когда мы составили критерии того, что это повлечет за собой, и оценили ранкеров, их недостатки стали очевидны.

На этой неделе Глобальный исследовательский совет, в который входят главы организаций, финансирующих науку и инженерию, собирает экспертов онлайн, чтобы обсудить, как оценки могут улучшить исследовательскую культуру. Это должно включать в себя то, как составляются и используются рейтинги университетов.

Литература по управлению исследованиями полна критики рейтингов. Рейтинги сложны с методологической точки зрения — часто в них используются неподходящие индикаторы, такие как подсчет выпускников, получивших Нобелевскую премию, в качестве косвенного показателя качественного образования. Они отдают предпочтение публикациям на английском языке и учреждениям, хорошо зарекомендовавшим себя в прошлых рейтингах. Таким образом, более старые и богатые организации в Европе и Северной Америке неизменно возглавляют чарты. В рейтингах применяется комбинация показателей, которые могут не отражать конкретные миссии университетов и часто не учитывают влияние на общество или качество преподавания.

Тем не менее, они укрепились, и каждый год появляются новые ранговые игроки. Как и в случае с импакт-фактором журнала, студенты, преподаватели и спонсоры обращаются к рейтингам как к ленивому показателю качества, независимо от недостатков. Последствия слишком реальны: талант отпугивается, доход снижается. И неравенство быстро укореняется.

Наша рабочая группа изучила литературу, чтобы разработать наши критерии, и запросила отзывы через различные списки обсуждений сообщества, открытые для ученых, специалистов по поддержке исследований и связанных групп. Мы объединили отзывы в 20 принципов, включающих надлежащее управление (например, объявление о финансовых конфликтах интересов), прозрачность (целей, методов и данных), измерение того, что имеет значение (в соответствии с миссией университета) и строгость (показатели являются хорошими показателями). прокси для того, что они претендуют на измерение).

Затем мы преобразовали эти принципы в инструмент для качественной и количественной оценки рейтинга (см. go.nature.com/2ioxhhoq). Мы наняли международных специалистов для оценки шести самых известных в мире рейтинговых агентств и пригласили рейтинговых агентств для самостоятельной оценки. (Только один, CWTS Leiden, сделал это.) Ричард Холмс, редактор блога University Ranking Watch, откалибровал результаты, которые мы представили в виде профилей, а не рейтингов.

Рейтинги с наибольшей аудиторией (ARWU, QS World University Ranking, THE WUR и глобальный рейтинг US News & World Report) оказались наиболее недостаточными, особенно с точки зрения «измерения того, что имеет значение» и «строгости». Ни один из этих «флагманских» рейтингов не учитывал открытый доступ, равенство, разнообразие, устойчивость или другие программы, ориентированные на общество. Ни один из них не позволяет пользователям взвешивать показатели, отражающие миссию университета. Тем не менее, все утверждают, что определяют лучшие университеты мира.

Ранжировщики могут возразить, что наши принципы нереалистичны, что невозможно быть абсолютно честным в таких оценках, и что простые, всеобъемлющие показатели имеют свое место. Я возражаю, что мы вывели принципы из ожиданий сообщества передовой практики, и если ранжировщики не могут им соответствовать, возможно, им следует прекратить ранжирование или, по крайней мере, быть честными в отношении присущей им неопределенности в своих выводах (по нашей оценке, только CWTS Leiden пытался это сделать). .

В конечном счете, ранжировщики должны стать более ответственными. Меня вдохновляют новые ожидания относительно того, как оцениваются исследователи. С января 2021 года британский спонсор исследований Wellcome будет финансировать только те организации, которые представляют доказательства того, что они проводят справедливую оценку результатов для исследователей.