ОБЪЕКТИВНОСТЬ БИБЛИОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЕЙ В ОЦЕНКЕ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
№6,
Экономические науки
Воробьева Татьяна Михайловна (к.с.-х.н.)
Терехов Андрей Михайлович (к.э.н.)
Терехова Анна Валерьевна (к.с.-х.н.)
Ключевые слова: БИБЛИОМЕТРИЧЕСКИЕ ПОКАЗАТЕЛИ; ОЦЕНКА НАУЧНОЙ ДЕЯТЕЛЬНОСТИ; ИНДЕКС ХИРША; ИМПАКТ-ФАКТОР; BIBLIOMETRIC INDICATORS; EVALUATION OF SCIENTIFIC ACTIVITY; H-INDEX; IMPACT FACTOR.
В настоящее время для определения перспективных направлений результативности научной деятельности российских организаций имеется потребность в действующем механизме оценки качества научной работы. В 2009 г. Правительством РФ в данном направлении были утверждены Правила оценки результативности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы. Итоги оценки результативности научных организаций учитываются для формирования и утверждения перечня научно-исследовательских, опытно-конструкторских и технологических работ для научных организаций и определения объемов бюджетных ассигнований на эти работы, а также для оптимизации сети научных организаций.
Работа по оценке результатов деятельности научных организаций возлагается на органы исполнительной власти РФ или на государственные академии наук, в ведении которых они находятся.
Ежегодно, до 01 апреля сведения об итогах оценки результативности передаются в Рособрнадзор. На основе оценки результативности научные организации относят к одной из трех категорий:
— лидеры;
— стабильные научные организации с удовлетворительной результативностью;
— научные организации, которые утратили научный профиль и перспективы развития.
Для первой категории научных организаций федеральных органов исполнительной власти и госакадемии наук готовят рекомендации и (или) программы их по развитию и укреплению лидерства. Для второй категории — рекомендации по улучшению их деятельности. Для третьей категории — готовят предложения об их реорганизации или ликвидации, или замене руководства.
Приказами Минобрнауки утверждено типовое положение о комиссии по оценке результатов деятельности научных организаций и предложена типовая методика определения результативности оценки их деятельности. Она определяет оценку результатов научной деятельности на основе анализа и сопоставления результатов по следующим направлениям:
— научный потенциал и результативность научных исследований;
— вовлеченность научной организации в российское и мировое научно-образовательное сообщество;
— коммерциализация и прикладное значение полученных результатов исследований;
— обеспеченность научной организации кадрами;
— обеспеченность научной организации ресурсами;
— финансовое состояние научных организаций.
Согласно методике, научный потенциал и эффективность научных исследований определяется публикационной активностью научной организации в целом и отдельных ученых и выражается в показателях:
— число публикаций сотрудников научной организации РАН в российском индексе научного цитирования (РИНЦ);
— цитируемость работников научной организации в РИНЦ;
— число публикаций сотрудников научной организации в Web of Science (далее — WoS), отнесенное к численности ученых;
— цитируемость сотрудников научной организации РАН в WoS;
— импакт-фактор публикаций сотрудников научной организации РАН в WoS;
— число опубликованных докладов, тезисов докладов, представленных сотрудниками научной организации РАН на конференциях, симпозиумах и чтениях, так же на конференциях, организованных федеральными органами исполнительной власти, государственных академий наук или на средства отечественных и международных фондов (включая РФФИ и РГНФ);
— учебников и глав в учебниках, число монографий и глав в монографиях, отнесенное к численности ученых.
Для оценки результата научно-исследовательской работы (НИР) применяется два метода: экспертный и библиометрический. Библиометрический метод считается менее затратным, его применение имеет как преимущества, так и недостатки. Разработаны и применяются методики по определению 8 показателей: так на сайте http://www.spsl.nsc.ru/ размещен официальный сервис «определение индекса цитируемости», где даны методика определения, примеры результатов, что позволяет пользователю разобраться в этом вопросе.
Индекс цитирования — один из самых распространенных наукометрических показателей. Он представляет собой реферативную базу данных научных публикаций, индексирующих ссылки, указание в пристатейных списках. Индекс Хирша представляет собой количественную характеристику продуктивности ученого, групп ученых, научной организации или государства в целом, основанную на количестве цитирования этих публикаций. Индекс хорошо работает лишь тогда, когда ученые работают в одной области. Он значительно различается по области применения: у биологов и медиков — выше, медиков и математиков — ниже. При этом нельзя сказать о более близкой эффективности труда ученых в этих областях (физики, математики). Ученый мог сделать научное открытие, опубликовав лишь несколько работ, и в указанном случае низкий индекс Хирша не свидетельствует о значимости работ ученого.
При применении библиометрического анализа нет абсолютной объективности полученных данных. Это связано с рядом таких факторов как наличие однофамильцев, у которых сокращенные инициалы имени и отчества совпадают, а также принадлежности одного и того же автора к разным научным учреждениям, деятельность в разных направлениях науки, Гиперавторство, где нет возможности адекватно оценить личный вклад каждого автора.
На цитирование публикаций оказывают влияние также объем, состав и хронологическое распределение журналов в базе данных, самоцитирование и цитирование соавторами, различие в хронологическом распределении цитирований для различных журналов, разные типы публикаций, авторитетность ссылок, дублирование ссылок из переводных журналов, переименование журналов и организаций.
Неоднозначное отношение также к такому показателю как Импакт-фактор (далее — ИФ), численному показателю важности научного журнала: с одной стороны, это широкий охват научной литературы, результаты публичны и легкодоступны, журналы с высоким ИФ имеют более строгую систему рецензирования, чем с низким ИФ. С другой стороны, число цитирований и число публикаций не отражает качество исследования и применения его в практике — промежуток времени, когда учитывается цитирование, слишком короток — всего 3 года, а классические статьи цитируются даже через несколько десятилетий после публикации; природа результатов в различных областях исследования приводит к различной частоте публикаций результатов, которые оказывают влияние на Импакт-фактор. Так биологические и медицинские журналы имеют больший ИФ, чем физические, математические.
Некорректно также оценивать отдельные публикации и авторов по той же характеристике, что импакт-фактор, так как импакт-фактор журнала, в котором статья опубликована не связан с качеством и ценностью самой статьи. На качество библиометрического анализа влияют многие факторы, такие как: при использовании библиометрии на небольших выборках вероятность ошибок увеличивается, результаты библиографических исследований сильно зависят от исходного массива данных, лучше применять библиометрические показатели для ранжирования отдельных объектов; а также человеческий фактор: зависимость от квалификации сотрудника, осуществляющего поиск и библиометрический анализ. Поэтому эффективная система оценки результатов научной деятельности должна строиться на сочетании двух методов: как библиографического анализа, так и экспертной оценки.
Экспертная оценка занимает много времени, но позволяет произвести всесторонний анализ и оценку научного исследования. Экспертная оценка зависит от широты научного кругозора эксперта, а также правильности подхода и объективности к оцениванию.
Так зачастую, эксперт дает более высокие оценки журналам, где сам публиковался, а также более крупным и более старым журналам, важна также сама процедура оценивания, статистическая обработка результатов и интерпретация результатов экспертизы. Способы оценки результатов научной деятельности разные, у каждого из них есть свои плюсы и минусы, поэтому их не нужно противопоставлять, а наоборот использовать совместно. Только тогда можно достигнуть адекватных результатов.
Список литературы
- Постановление Правительства РФ от 8 апреля 2009 г. № 312 «Об оценке и о мониторинге результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» // СПС Консультант Плюс.
- Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от 5 марта 2014 г. № 161 г. Москва «Об утверждении типового положения о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовой методики оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» // СПС Консультант Плюс.