Совет по науке завершил свою деятельность в мае 2018 года по причине расформирования Минобрнауки.
Ключевые принципы организации экспертизы при проведении конкурсов научных проектов, 31.01.2017
| Скачать заявление (pdf) |
Конкурсы научных проектов - важнейший инструмент организации сферы науки и высоких технологий, позволяющий повысить эффективность этой сферы, сделать ее отвечающей вызовам современности. Для реализации задач, поставленных в Стратегии научно-технологического развития Российской Федерации, необходимо увеличение роли и удельного веса конкурсного финансирования науки и новых технологий.
Действительно, качественно проведенные конкурсы позволяют:
а) решить задачу адресного финансирования научной группы, способной наиболее эффективно выполнить поставленную задачу;
б) путем специально сформулированных условий конкурса сыграть роль «мягкой силы», во-первых, перенацеливающей научные группы на актуальные темы и задачи; во-вторых, целенаправленно регулирующей структуру научного сообщества установлением возрастных или региональных приоритетов.
При проведении конкурсов научных проектов можно выделить следующие этапы:
- Этап определения целей, задач и правил конкурса
- Этап формирования экспертных панелей и корпуса экспертов.
- Этап объявления конкурса
- Этап оценки и ранжирования поступивших проектов по количественным показателям
- Этап рецензирования проектов
- Этап рассмотрения проектов на экспертной панели
- Этап объявления результатов конкурса
- Этапы промежуточной и финальной оценки результатов выполнения проекта
Этап определения целей, задач и правил конкурса
Перед объявлением конкурса должны быть четко сформулированы те задачи, которые предполагается решить в ходе конкурса, с учетом тематических, возрастных и региональных приоритетов. Далее, исходя из поставленной задачи, должны быть сформулированы «правила игры», т.е. явным образом прописанные алгоритмы принятия решений на каждом этапе конкурса, которые в дальнейшем не должны пересматриваться. Применительно к роли приоритетов надо сделать выбор между «мягким» и «жестким» вариантом: добавление очков за соответствие приоритету при оценке проекта при «мягком» варианте, либо отбрасывание не соответствующих приоритету проектов при «жестком» варианте.Этап формирования экспертных панелей и корпуса экспертов
Ключевую роль в обеспечении качества конкурса играют экспертные панели и корпус экспертов-рецензентов. Прозрачность механизмов формирования корпуса экспертов и принятия решений на каждом этапе (более подробно см.ниже) должны, в конечном счете, привести организатора конкурса и научное сообщество к признанию итогов объективными.
В случае, когда проводится раздельный конкурс по областям знаний, до начала формирования экспертных панелей и корпуса экспертов необходимо провести выбор и утверждение адекватного научного рубрикатора, на основании которого будет проводиться разделение проектов по областям.
На этом же этапе составляется регламент деятельности экспертных панелей конкурса, правила рецензирования и анкета рецензента.
Анкета должна быть составлена таким образом, чтобы: а) мнение эксперта было выражено в виде количественной оценки (числа баллов); б) были четко выделены три основные составляющие проекта: оценка предыдущих достижений подающей проект научной группы, оценка самого проекта (т.е. предлагаемого плана будущих исследований) и степень соответствия приоритету, сформулированному при объявлении конкурса. Не следует задавать слишком много количественных вопросов рецензенту; перечисленных трех параметров вполне достаточно. Однако количественная оценка обязательно должна быть дополнена полновесной рецензией, объем которой задается организаторами конкурса. Соответствие вопросов анкеты баллам должно быть прозрачно для экспертов и не должно вызывать сложностей и разночтений.
Этап объявления конкурса
О конкурсе научных проектов должно быть объявлено достаточно широко, в том числе в связанных с наукой и технологиями СМИ, чтобы все заинтересованные заявители своевременно получили эту информацию. Подробные правила конкурса должны быть размещены на специализированном сайте в интернете. Они должны быть написаны четко, не вызывать разночтений и содержать исчерпывающее описание алгоритма подачи заявки. На этом же сайте должна публиковаться вся основная информация о ходе конкурса.
В тех случаях, когда ожидаемое количество заявителей во много раз больше числа победителей конкурса, для экономии времени, затрачиваемого исследователями на подготовку заявки, возможно проведение двухэтапного отбора проектов. На первом этапе участники конкурса подают краткие заявки, в которых должны быть охарактеризована суть проекта и представлены сведения о публикациях заявителей. После предварительного отбора «короткому списку» претендентов предлагается подать полный развернутый проект, который затем проходит полноценную экспертизу. Количество заявок, допущенных ко второму этапу, должно превосходить число победителей, по крайней мере, вдвое, но, желательно, не более, чем в четыре раза.
Этап оценки и ранжирования поступивших проектов по объективным показателям
На этом этапе оценивается соответствие поступивших проектов формальным условиям допуска к конкурсу (не соответствующие требованиям конкурса проекты должны отсеиваться до их рассмотрения по существу), а также «вес» поступивших проектов с точки зрения количественных (в том числе наукометрических) показателей. Учитываемые показатели должны быть заранее определены и обнародованы, как и формула подсчета интегрального рейтинга с учетом относительного веса различных показателей. Предварительное ранжирование проектов с помощью этой формулы позволяет снизить роль субъективного фактора на последующем этапе экспертной оценки. Кроме того, в случае очень большого числа заявок относительно числа победителей конкурса, может быть заранее принято решение о допуске к этапу рецензирования только верхней части ранжированного списка заявок (в соотношении n:1, где n – число рецензируемых заявок в расчете на одного победителя конкурса). При этом все же необходимо рассмотрение заявок хотя бы одним экспертом с целью определения соответствия отобранных заявок тематике конкурса.В случае проведения "широких" конкурсов по разным областям науки необходимо установление разных наукометрических параметров для разных научных специальностей.
Выбор организации, которая проводит предварительное ранжирование заявок, представляется очень важным для успешного проведения конкурса. В этой организации должны работать квалифицированные специалисты (в том числе, в области наукометрии), которые имеют доступ ко всем современным базам данных и умеют ими пользоваться.
Этап рецензирования проектов
На этом этапе каждый проект отсылается определенному числу экспертов-рецензентов, которые формулируют свою субъективную оценку. Как правило, число экспертов-рецензентов для каждой заявки должно быть не менее трех. Эксперты-рецензенты должны быть ведущими учеными, а их научный уровень должен превышать пороговые значения.
Выбор пула экспертов, которым будут направлены заявки, и собственно рассылку каждого проекта определенному числу рецензентов могут проводить организации, специализирующиеся на проведении конкурсов, но тут необходимо квалифицированное и беспристрастное наблюдение представителей собственно научной сферы. Известно, например, что средний уровень оценок, которые выставляются разными рецензентами, может существенно различаться, так что необходимо вводить поправочные коэффициенты в тех случаях, когда какая-либо работа была направлена нескольким «строгим» или нескольким «доброжелательным» рецензентам.
Конфликт интересов
Существенные проблемы, возникающие при рецензировании проектов, а также при их рассмотрении на экспертной панели, связаны с конфликтом интересов. Для их разрешения необходимо применять следующие базовые принципы.
Члены экспертной панели не должны сами участвовать в конкурсах в качестве участников коллективов и/или их руководителей, они также не имеют право в будущем вступать в финансовые взаимоотношения с группами в рамках выигранных проектов. Экспертам-рецензентам это не запрещается, но должно быть четко отслежено, что они рецензируют только те работы, которые не попадают в категорию потенциального конфликта интересов. Сюда относятся следующие отношения: учитель-ученик, работник той же организации, родственник, соавтор в статье, опубликованной за последние 5 лет, участник одного и того же научного проекта за последние 5 лет (в случаях соавторства, либо совместного участия в больших международных коллаборациях, два последних основания для конфликта интересов по решению организаторов конкурса могут не учитываться), какие-либо финансовые взаимоотношения с заявителем за последние 5 лет, прямой конкурент заявки эксперта, рассматриваемой на том же конкурсе. При выявлении потенциального конфликта интересов по отношению к какому-нибудь проекту у участников заседания экспертной панели эти участники должны удаляться из зала во время обсуждения данного проекта.
Ответственность за соблюдение вышеуказанных правил несут сами эксперты и члены панелей. Перед началом экспертизы все они должны подписать юридически обязывающий документ о правилах поведения при возникновении ситуаций, связанных с конфликтом интересов. Многие проблемы, связанные с поиском квалифицированных экспертов без потенциального конфликта интересов, могут быть решены при более широком привлечении к экспертизе зарубежных специалистов, в том числе представителей русскоговорящей научной диаспоры.
Этап рассмотрения проектов на экспертной панели
Заключительный этап любого конкурса научных проектов – рассмотрение результатов на экспертной панели. Состав экспертной панели должен быть тщательно подобран, причем не только для исключения конфликта интересов, но и с точки зрения соблюдения многообразия различных научных групп и школ, чтобы избежать монополизма. Это относится и к географическому разнообразию панели — проведение обсуждений в электронной форме позволяет сформировать общее мнение, находясь в разных городах и странах. Научный уровень членов экспертной панели должен быть не ниже, чем у предполагаемых победителей конкурса. Они должны быть ведущими учеными (иметь высокую публикационную активность и цитируемость работ, являться ключевыми докладчиками на российских и международных конференциях и т.д.). Экспертная панель должна включать определенное число специалистов по тематике конкурса; не должно быть «междисциплинарных» панелей, где данная тематика представлена одним – двумя учеными. Если соответствующих специалистов в стране не хватает, то в панель надо включать представителей диаспоры или иностранных ученых. Составы экспертных панелей должны постоянно ротироваться, разумной является норма о ротации трети экспертной панели для каждого последующего конкурса.
На заседание экспертной панели должен быть представлен итоговый ранжированный список проектов с учетом оценок на этапе ранжирования по количественным показателям и на этапе рецензирования. Вес оценок, полученных на каждом этапе, должен быть заранее определен (как вариант: очки за количественные показатели, предыдущие достижения, описание будущего исследования и за соответствие приоритету входят с равным весом). Эти веса существенно зависят от типа и цели конкурса, числа победителей конкурса по отношению к числу участников и т.д.
Экспертная панель рассматривает ранжированный список и при необходимости вносит коррективы в список победивших проектов. Такие коррективы должны быть всесторонне обоснованы и, как правило, приниматься открытым консенсусом. Использование механизма тайного голосования для определения победителей конкурса вносит слишком большой элемент субъективизма и должно быть исключено.
Экспертная панель, совмещенная с устными выступлениями соискателей
Во многих случаях оказывается целесообразным совместить заседания экспертной панели с устными выступлениями соискателей, включая ответы на вопросы. В этих случаях в критерии оценки проекта добавляется оценка устного доклада, и итоговое ранжирование осуществляется с учетом этой оценки. Это позволяет гораздо лучше оценить степень компетентности руководителя проекта, но с другой стороны увеличивает вес субъективных факторов.
Этап объявления результатов конкурса
Объявление результатов конкурса должно сопровождаться предоставлением участникам конкурса развернутых мотивированных заключений об их заявках. В ряде случаев может оказаться целесообразным предоставить участникам конкурса право оценить объективность рецензий (но не результатов конкурса в целом), а также качество проведения конкурса, включая организационное сопровождение. Помимо прочего, это позволит совершенствовать корпус экспертов (например, исключением недобросовестных) и механизмы их работы.
Этапы промежуточной и финальной оценки результатов выполнения проекта
Рассмотрение проектов в ходе их выполнения и после их окончания строится по той же схеме, что и выше. Выполнение проекта при этом должно оцениваться по достижению количественных индикаторов проекта и по получению результатов, направленных на решение основных задач проекта. На этих этапах устные выступления руководителей проектов с отчетами перед экспертной панелью являются крайне желательными.
Финансирование экспертизы при проведении конкурсов научных проектов
Необходимо подчеркнуть, что проведение полноценной экспертизы научных проектов требует денег. Это касается не столько самих экспертных заключений рецензентов (в мире распространена практика бесплатного рецензирования в качестве «сервиса научному сообществу»), сколько проведения всей описанной выше сложной технической работы, включая проведение заседаний экспертных панелей с возможным вызовом соискателей. Поэтому при проведении любого конкурса должен быть выделен определенный небольшой процент финансирования на выполнение экспертизы проектов и определены организации, через которые это финансирование осуществляется.
Защита процесса экспертизы от внешнего лоббирования
В научном сообществе должна быть создана атмосфера нетерпимости к любым попыткам повлиять на результаты экспертизы с целью лоббирования того или иного проекта. Этому может помочь огласка отдельных случаев такого лоббирования в СМИ и социальных сетях. Кроме того, определенный заслон лоббированию может быть получен за счет строгой регламентации заседаний экспертной панели, включая способ принятия решений путем открытого консенсуса в этом органе, включающем много «групп влияния».
Члены экспертной панели и эксперты должны дать подписку о том, что они не будут разглашать результаты рассмотрения проектов, что они будут принимать решения только лично (не обсуждая проект даже с членами панели до её заседания) и не будут контактировать с соискателями.
Руководители экспертизы в научных конкурсах
В ряде случаев может оказаться целесообразным ввести институт «руководителей экспертизы» научных конкурсов. Их зарубежными аналогами являются program officers (NASA), program directors (NSF). Руководители экспертизы - высококвалифицированные научные сотрудники, которые работают в штате финансирующей организации. Они несут персональную ответственность как за успешное проведение реализации программы в рамках соответствующей области знаний, так и за формирование корпуса рецензентов и экспертных панелей.
В РФ роль штатных экспертов распределена между координаторами секций экспертного совета и техническими сотрудниками. Так как, традиционно, координаторы экспертизы являются крупными организаторами науки (директорами институтов, академиками), то значительная нагрузка при формировании экспертных панелей и назначения рецензентов ложится на технических сотрудников и проводится по ключевым словам без учета специфики отдельных областей знаний. Введение института «руководителей экспертизы» позволит проводить экспертизу более профессионально, избежать конфликта интересов или предвзятости (в сложных трудно формализуемых случаях) на этапе рецензирования, сформировать сбалансированные экспертные панели (что важно при наличии острой конкуренции, кланов и т.д.).
Другие конкурсы
Многие из приведенных выше рекомендаций могут быть использованы не только при проведении конкурсов на финансирование научных проектов, но и конкурсов на доступ к дорогостоящим ресурсам центров коллективного пользования или уникальных установок.