Оценка научной работы: критика библиометрического подхода

Библиометрические изыскания — вполне определенный сегмент исследований, имеющий право на существование и распространение полученных результатов наряду с другими ветвями знаний. Однако интерпретация полученных результатов и возможности практического их использования являются, безусловно, предметом обсуждения. Совершенно недопустимо, когда результаты ранжирования и рейтинги используются как источник и мера оценки качества исследовательской работы и профессиональной компетенции автора, особенно, если в последующем они сказываются на финансировании научных изысканий, вузов, научных учреждений и отдельных исследователей.

Поддержу озабоченность европейских ученых, выраженную в совместной редакционной статье, опубликованной еще в 2008 г. в европейских журналах по истории науки и науковедению (science studies): «Как те, кто практикует в области тесно взаимосвязанных дисциплин, которые образуют поле науковедения, мы понимаем, сколь значимым, непредсказуемым и неопределенным может быть процесс отображения природы и общества в виде рангов, классов и цифр… Качество журналов не может быть отделено от их содержимого и организации процесса рецензирования в каждом конкретном случае. Замечательные исследования могут быть опубликованы где угодно и на каком угодно языке».

В отличие от российского руководства, в европейских странах, похоже, начали осознавать неприемлемость приоритета библиометрических индикаторов при оценке научной значимости исследований и публикаций и используют их лишь в качестве вспомогательного инструмента. В Великобритании формулируются следующие принципы оценки результатов научных исследований (Research Excellence Framework, REF):

а) экспертные группы будут рассматривать показатели цитирования как дополнительную информацию по отношению к академической ценности представляемых материалов. Они по-прежнему будут полагаться на экспертизу в качестве основного средства оценки, чтобы получить взвешенные суждения по всему спектру оценочных критериев (оригинальность, значимость и строгость);

б) ввиду ограниченной роли показателей цитируемости при проведении оценки финансирующие структуры не предлагают и не рекомендуют университетам основываться на данных цитирования при отборе сотрудников или результатов для включения в представляемые материалы;

в) экспертные группы не будут использовать импакт-факторы журналов, рейтинги и списки или подразумеваемый авторитет издателя при вынесении суждения о качестве научного продукта.

Сама концепция измерения и отображения всего многообразия научного мира в виде рангов, рейтингов и прочих цифровых индикаторов представляется весьма сомнительной на мировоззренческом уровне. Такую же абсурдную методику можно распространить, скажем, на произведения художественной литературы, проводить структурный анализ текстов (именно текстов, а не художественных произведений), ранжировать их по библиометрическим показателям и формулировать на их основании рекомендации относительно учебных программ начального и среднего образования.

Но чтобы играть с идеологами библиометрии «на их поле», необходимы приземленные, более предметные и конкретные аргументы. Обобщим наши общие возражения в нескольких тезисах.

Первое. Библиометрический подход подменяет понятия и причинно-следственные связи между публикационной активностью и цитируемостью (авторов и журналов), с одной стороны, и научной значимостью журналов и публикуемых в них результатов научной деятельности — с другой. С помощью библиометрических показателей мы измеряем «плодовитость» или популярность того или иного автора или издания в профессиональных кругах, но никак не научную ценность работ. В свою очередь сама популярность (выражаемая, в частности, в показателе числа цитирований) может иметь совершенно различные основания, в том числе не имеющие никакого отношения к научной значимости.

Ценную в научном отношении работу будут при прочих равных условиях цитировать чаще, чем работу малозначимую. Однако обратное утверждение о том, что большое число цитирований какой-либо работы является безусловным показателем ее научной ценности — в принципе неверно. Вот и в этой статье приходится ссылаться на публикации, продвигающие сомнительные идеи библиометрического ранжирования, повышая тем самым число цитирований их авторов и импакт-факторы журналов, их публикующих. Этот казус признается самими разработчиками и составителями различных рейтингов и рангов, активно продвигающих библиометрические идеи.

В частности, автор одного из рейтингов российских экономистов Е. Балацкий не без оснований отмечает, что «академическая активность и популярность во многом являются производными от административного ресурса ученого». В другой публикации он высказывается еще более категорично: «если человек совмещает должности заведующего кафедрой, заведующего лабораторией, первого проректора и главного редактора специализированного журнала, то в его распоряжении оказывается большой коллектив студентов, аспирантов и подчиненных исследователей, которых можно ориентировать на нужные статьи и обеспечить тем самым высокую цитируемость научных работ данного должностного лица».

С другой стороны, единственный российский (советский) лауреат Нобелевской премии по экономике Л. Канторович не имеет никаких шансов попасть ни в один из «рейтингов», поскольку на сегодняшний день в системе Российского индекса научного цитирования (РИНЦ) мы не найдем ни одной его публикации и ни одной ссылки на его работы.

Второе. Совокупность общепринятых библиометрических показателей не составляет целостной системы индикаторов, позволяющих однозначно характеризовать профессиональную квалификацию ученого и научную ценность полученных им результатов. Свидетельством ненадежности является существование различных рейтингов российских экономистов и экономических журналов, дающих разные результаты ранжирования, притом, что большинство из них опираются на одни и те же показатели РИНЦ.

В основе этого казуса лежит несколько причин. Е. Балацкий признает, что «используемые в РИНЦ три показателя для ранжирования исследователей дают принципиально неодинаковые результаты»; точно так же «журналы характеризуются многими РИНЦ-показателями, которые дают принципиально разные результаты ранжирования». Для устранения этого системного недостатка используются различные приемы агрегирования частных индикаторов и построения неких интегральных показателей. Однако эти приемы не имеют объективного и однозначного толкования (как в отношении отбора частных показателей, так и в отношении выбора их весов), а сами интегральные показатели несут на себе отпечаток субъективного мнения авторов того или иного рейтинга.

К. Сонин, который в свое время предложил несколько рейтингов и сам входил в авангард многих «рейтингов российских экономистов», скептически оценивает научные достижения журнала «Вопросы экономики», возглавляющего «хит-парад» импакт-факторов журналов экономического профиля в системе РИНЦ: «»Вопросы экономики», при всём уважении к самому читаемому, влиятельному и престижному журналу в экономической науке в нашей стране — это не научный журнал… Не удивительно, что среди тех, у кого много публикаций в ВЭ — прежде всего люди, мнение которых играет огромную роль при определении экономической политики (Кудрин, Ясин, Гавриленков), но которые не занимаются научными исследованиями».

Третье. Традиционные библиометрические индикаторы способны искажать реальное положение вещей. «Пусть ученые А и В опубликовали по 10 статей. А получил по 200 ссылок на каждую, В на каждую свою статью получил по 10 ссылок. У кого из них выше индекс Хирша? Ответ: индекс Хирша у них одинаковый и равен 10… Теперь предположим, что В опубликовал 11 статей и на каждую получил по 11 ссылок. Тогда он обгонит А «по Хиршу». Если же у него 20 статей и 20 ссылок на каждую, то он обгонит А «по Хиршу» в 2 раза. Хотя общее число ссылок на его статьи — в 5 раз меньше. А теперь вопрос (увы, риторический): что стимулирует Хирш — публикацию требующих большого труда прорывных работ высшего качества или публикацию работ умеренного качества, но в немереном количестве?». Возьмем другой пример из базы РИНЦ: автор имеет индекс Хирша, равный 30, при этом на 128 его текстов приходится 235 соавторов. Каков реальный вклад этого автора в подготовку публикации, мы не знаем, однако «система» исправно ставит ему очередные библиометрические плюсики.

Использование известных методических приемов в целях повышения достоверности — введение новых показателей, различные их группировки и агрегирование, дополнение библиометрических расчетов экспертными оценками — приводит, напротив, к возрастанию влияния субъективной составляющей оценки, а также к расширению возможностей манипулирования интегральным показателем (в данном случае неважно, преднамеренного или нет). Как только появляется рейтинг, возникает мотив к манипуляциям, за которым следуют и конкретные действия.

Одна из наиболее известных модификаций ранжирования научных журналов с привлечением дополнительных библиометрических показателей и последующей их группировкой — версия А. Муравьева. Приоритетным показателем научной значимости статьи, согласно Муравьеву, является ее публикация в «престижном зарубежном журнале». В действительности же публикация — это наиболее надежный способ доведения результатов исследования до научного сообщества, а размещение результатов исследований в так называемых престижных журналах лишь повышает возможности доведения этих результатов до более широкой аудитории, отнюдь не свидетельствуя о высоком качестве самой статьи. Тем более не может являться приоритетным индикатором количество приведенных в статье ссылок на зарубежные журналы. Это лишь свидетельствует о способности ее автора читать тексты на иностранных языках и свободном доступе к таким журналам.

Относительно показателя «объем публикации» Муравьев сам же и высказался вполне определенно: «Исчерпывающий ответ на вопрос о том, связан ли объем статей в российских журналах с их качеством, требует скрупулезного анализа структуры и содержания публикаций в ведущих российских журналах и в целом является далеко не тривиальной задачей». Сей тезис не вяжется, однако, с категорическими выводами А. Муравьева о научности/ненаучности российских экономических журналов на основании предложенной им методики, в том числе с использованием упомянутого индикатора. К слову, А. Эйнштейн изложил свою специальную теорию относительности в работе «К электродинамике движущихся тел» объемом всего лишь журнальную страницу. Интересно, как столь «малый» объем оценивает библиометрия?

Источник: Р. Р. ГУМЕРОВ Вновь о научной значимости российских экономических журналов, или что стоит за попытками их ранжирования // ЭКО. Всероссийский экономический журнал, № 7, Июль 2017, C. 146-161 Рейтинги экономических журналов России Российский Web of Science: Russian Science Citation Index (RSCI) Что такое научная школа? Деградация экономической науки в России Научная деятельность российских вузов в начале 21 века Государственная поддержка научной деятельности вузов России в 2007-2017 гг. Современное состояние государственной поддержки научной деятельности в вузах России (2017 — …) Необходимость в научной обоснованности экономической политики государства Профессиональное образование как фактор экономического роста

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *