01.09.2017: По этапам. Как идет оценка институтов РАН.
- Евгения Владиславовна, почему впервые проводимая межведомственная оценка результативности институтов названа внеочередной?
- В соответствии с постановлением Правительства РФ от 8 апреля 2009 года №312, оценка должна осуществляться раз в пять лет, то есть в нашем случае в 2018-2019 годах. Но федеральный орган исполнительной власти имеет право инициировать внеочередную оценку, что агентство и сделало, попросив институты представить итоги работы за три года - с 2013-го по 2015-й.
- Сколько НИИ проходят оценку?
- Сначала в списке была 541 организация, но к настоящему времени перечень сократился до 513. Дело в том, что от оценки освобождены институты, которые завершили процесс реструктуризации.
- Значит, те, кто начал реорганизацию, но пока не влился в новую объединенную структуру, остаются в игре?
- Да, оценку не проходят структуры, которые перестали быть отдельными юридическими лицами, и организации, на базе которых созданы новые центры.
- По правилам в экспертных советах референтных групп должно быть более половины ученых “со стороны”, не работающих в академических структурах. Удалось ли соблюсти эту пропорцию?
- Правила соблюдены. Для обеспечения объективности в экспертные советы были включены представители вузов и отраслевых научных институтов. Мы очень благодарны коллегам, которые согласились принять участие в этой нелегкой работе. Отмечу также, что ведомственная комиссия по оценке приняла решение: руководители экспертных советов референтных групп (ЭС РГ) не должны работать в подведомственных ФАНО структурах, а членами советов из академических организаций не могут быть люди, занимающие руководящие должности, - директора, заместители директоров, ученые секретари.
- Сколько экспертов от ЭС РГ оценивает каждый институт? Как организована их работа?
- Для каждой организации назначается по два эксперта. Хотя бы один из них должен быть из организации, не подведомственной ФАНО. Эксперт отвечает примерно на 20 вопросов, характеризующих деятельность организации, а также готовит заключение, в котором указывает сильные и слабые стороны института, включая рекомендации по формированию программы его развития.
В ФАНО создана информационно-аналитическая система для сопровождения всего цикла работ по оценке. Организации вносят в нее необходимые сведения, которыми пользуются эксперты, готовя свои заключения. Члены экспертных советов и ведомственной комиссии, кроме того, имеют доступ к результатам наукометрической и экспертной оценки.
- Как известно, главный итог оценки - распределение НИИ по трем категориям: лидеры, стабильно работающие и не показывающие значимых результатов. Кто дает заключение об отнесении к той или иной категории?
- Категория организации определяется ведомственной комиссией на основе рекомендаций экспертных советов, результатов наукометрического и экспертного анализа, заключения Российской академии наук. При этом основная роль в оценке принадлежит ЭС РГ, которые дают рекомендации по предварительному отнесению организаций к той или иной категории.
Хочу подчеркнуть, что на основании экспертного анализа присваиваемая организации по формальным основаниям категория результативности может быть изменена - повышена или понижена, но не более чем на одну позицию.
- В референтные группы входят только академические организации?
- Перечень референтных групп сформирован и утвержден Межведомственной комиссией (МВК) по оценке результативности деятельности научных организаций, созданной Минобрнауки России. В него входят все научные организации страны. Но на данном этапе - ведомственной оценки - внутри референтных групп сравниваются только НИИ, подведомственные ФАНО. Информация о предварительном распределении организаций по категориям будет направлена в МВК. На основании обобщения результатов в масштабах страны - с учетом результативности не только академических, но и других научно-исследовательских и отраслевых организаций - МВК сформирует свои рекомендации. Окончательное решение по отнесению подведомственных институтов к одной из трех категорий примет ФАНО на основании итогового заключения ведомственной комиссии.
- Как рассчитывается средний показатель результативности по референтной группе? На сколько должны отличаться от него значения для разных категорий?
- По каждому из ключевых показателей (публикации, патенты, разработки, финансовая результативность) вычисляется среднее арифметическое с учетом данных всех входящих в референтную группу институтов. Таким образом, для каждого научного направления мы получаем набор пороговых значений. Именно с ними сравниваются показатели каждого конкретного института.
Показатели результативности для отнесения научной организации к первой категории должны не менее чем на 25% процентов превышать средние в соответствующей референтной группе. Для отнесения ко второй категории они могут быть не более чем на 25% процентов ниже средних. Если этот разрыв больше - организация попадает в третью группу.
- Для оценки института используется 5-10 основных показателей и несколько дополнительных. Каков их “вес”?
- Это зависит от профиля деятельности организации. Сначала НИИ самостоятельно определяют, к какому из трех профилей они относятся - “Генерация знаний”, “Разработка технологий” или “Научно-технические услуги”. Экспертные советы смотрят, насколько корректно выбран профиль, и могут дать рекомендации по его корректировке. При определении наукометрической категории в каждом профиле используются основной показатель и один из дополнительных. Для отнесения к первой категории основной и дополнительный показатели должны быть выше соответствующих пороговых значений. Если основной показатель ниже “порога”, организация относится к третьей категории. Остальные попадают во вторую категорию.
Например, для профиля “Генерация знаний” определяющим является число публикаций, индексируемых в международных системах научного цитирования, в расчете на 100 исследователей. Дополнительные показатели - количество созданных результатов интеллектуальной деятельности (РИД), имеющих государственную регистрацию и (или) правовую охрану, плюс количество выпущенной конструкторской и технологической документации, в расчете на 100 исследователей или объем доходов от конкурсного финансирования, отнесенный к общей численности выполнявших исследования и разработки сотрудников.
Для профиля “Разработка технологий” главный показатель - количество РИД плюс конструкторская и технологическая документация, а дополнительные - число опубликованных произведений плюс объем доходов от использования РИД и совокупный доход малых инновационных предприятий, отнесенный к общей численности исследователей.
Для организаций, оказывающих научно-технические услуги, главный критерий - отношение внебюджетных поступлений к бюджетному финансированию, а дополнительные - публикации и РИД.
- Если для определения категории применяется только один основной показатель, как используются другие?
- Остальные показатели учитываются всеми, кто участвует в подготовке экспертных заключений.
- В какой стадии сегодня находится процесс оценки?
- Все проходящие оценку организации предоставили необходимые сведения. Проведена огромная работа по их проверке, корректировке и приведению в соответствие с цифрами, предоставляемыми в Росстат, а также с данными российских и международных систем научного цитирования. В настоящее время с этими сведениями работают эксперты ведомственной комиссии по оценке и Российской академии наук.
- Чем регламентируется участие РАН в оценке? На каком этапе она подклю-
чается?
- О необходимости учета экспертного мнения РАН говорится в приказе Минобр-науки России от 5 марта 2014 года №161, который утвердил типовое положение о комиссии по оценке результативности. Аналогичная норма внесена в Методику оценки результативности, утвержденную приказом ФАНО от 26 июня 2015 года №22н.
По предложению ведомственной комиссии Академия наук участвует в двух этапах оценки. Сначала отделения РАН готовят экспертные заключения о результатах деятельности организаций на основе полученных от них сведений. Потом в РАН будет направлено утвержденное ведомственной комиссией предварительное распределение по категориям, чтобы отделения в случае необходимости сформулировали свои замечания к этому решению.
- Чье мнение будет играть решающую роль - экспертов ведомственной комиссии или отделений РАН?
- Я бы не стала противопоставлять этих участников, ведь у них разные функции. РАН оценивает качество проводимых исследований, а ведомственная комиссия акцентирует внимание на результативности работы и потенциале научных организаций - инфраструктурном, кадровом, внедренческом.
- И все же кто в случае разногласий будет принимать окончательное решение?
- Ведомственная комиссия на основе предложений экспертных советов референтных групп.
- По рукам уже ходят списки институтов, которые попадают в третью группу по формальным показателям. Можете назвать общую цифру?
- Результаты наукометрической оценки - это только вспомогательный материал для экспертов. Поэтому имеющиеся сегодня данные - сугубо предварительные. Согласно им, примерно 20% организаций по наукометрическим показателям находятся ниже пороговых значений в своих референтных группах.
- Когда институты будут ознакомлены с результатами предварительной оценки? Смогут ли они опротестовать принятые в отношении них решения?
- Предварительные результаты, утвержденные ведомственной комиссией, будут направлены в научные организации. Институты, попавшие во вторую категорию, имеют право обратиться в ФАНО с заявлением о пересмотре решения и просить проведения детальной экспертной оценки всей организации и (или) ее структурных подразделений. К такому заявлению должны быть приложены необходимые сведения. Таким образом, для организаций второй категории детальная экспертная оценка проводится по их запросу. А вот институты, предварительно отнесенные к третьей категории, должны в обязательном порядке предоставить ведомственной комиссии дополнительные сведения о своих структурных подразделениях.
В любом случае все спорные вопросы будут открыто обсуждаться, все мнения приниматься во внимание.
Подготовила Надежда Волчкова
http://www.poisknews.ru/theme/science-politic/28378/
