Проблемы научных публикаций

Для людей, не знакомых близко с научным процессом, может быть не очень понятна важность научных статей. Публикация — это не только распространение информации, но и верификация результатов исследований, а еще самая главная мера эффективности научной работы.

Важность публикаций для ученых описывается выражением «Publish or perish» — «Публикуйся или сдохни». Именно всевозможные библиометрические показатели являются основой для получения грантов, подъема по карьерной лестнице и, в конечном итоге, научного успеха. И поэтому проблемы научных публикаций негативно влияют на всю науку в целом.

Введение — Зачем нужны научные публикации?

Как же работает система научных публикаций? Начинается все с того, что у вас есть завершенное исследование, которое вы хотите опубликовать. Вы должны подготовить текст и иллюстрации по образцу, принятому в журнале, куда вы хотите отправить свою статью. В начале манускрипт попадает к редактору, он может отказать вам сразу, посчитав статью неинтересной, недостаточно новой или не подходящей по теме журнала. Если ваш манускрипт преодолевает этот первый фильтр, редактор отправляет его на рецензию 2-3 ученым из соответствующей области. Эта стадия называется peer review и это главный этап научной публикации. Рецензенты внимательно проверяют вашу работу и дают отзыв, а также предлагают изменения и дополнительные эксперименты. Если все рецензенты оценили манускрипт отрицательно, журнал не будет публиковать статью. Но даже при положительной оценке обычно нужно внести изменения. После этого статью отправляют на второй раунд рецензии. Так может повторяться несколько раз, пока рецензенты не удовлетворятся итоговым результатом.

Зачем нужна такая система? Она гарантирует, что специалисты проверили манускрипт, а все необходимые стандарты были соблюдены. Именно этим статьи отличаются от препринтов (например, на сайтах arxiv.org и bioarxiv.org), которые еще не прошли рецензию, и качество научной работы не может быть гарантированно.

Такое подробное введение нужно, чтобы вы понимали, чем отличается научная публикация от, например, статьи на Хабре.

Какие же есть проблемы у научных публикаций? Их великое множество. И они ощутимо влияют на весь процесс исследований, ведь, как я уже говорил в начале, — статьи это основная мера эффективности работы ученых. Интересно, что многие проблемы унаследованы из давних времен, когда не было интернета и способы распространения информации были кардинально иными.

Итак, начнем. Самая заметная проблема, это конечно же

Деньги

На данный момент есть два основных способа «монетизации» научного журнала: подписка (paywall) и открытый доступ (open access). В первом случае нужно купить отдельную статью или годовую подписку на журнал. Открытый доступ позволяет любому человеку из любого места скачать статью в интернете.

Рассмотрим оба варианта подробнее.

Платный доступ (paywall)

Это одна из тех особенностей, которая возникла еще сто лет назад. Когда единственным способом распространения информации были бумажные журналы, их надо было печатать и рассылать. Люди и организации выписывали их, как любые другие периодические издания. У некоторых научных журналов до сих пор остались бумажные версии, но чаще всего их единственное их применение — полистать за обедом.

Очевидно, что сейчас большая часть научных изданий распространяется через интернет. А при работе с информацией используются системы автоматического поиска (например, Scopus или Pubmed). То есть сейчас я не ищу статью в журнале, я ищу статью по ключевым словам или авторам. Но часто, найдя нужное исследование, вы можете упереться в paywall.

^{Самоироничная статья в Nature…}

На самом деле

^{Так выглядел paywall Nature раньше. То, что в новой версии оформления обозначено, как купить или арендовать статью, на самом деле выглядит вот так. Вы можете на время арендовать статью $3.99. Чуть дороже будет ее купить ($9.99), но вы не сможете ее скачать или распечатать. А если вы хотите pdf, то будьте добры заплатить $32! Темные паттерны маркетинга в действии.}

Сейчас многие научные журналы требуют подписки для доступа к статье. Так как стоимость отдельной статьи может доходить до нескольких десятков долларов, а каждому сотруднику нужен доступ к сотням публикаций, издатели договариваются с научными и учебными заведениями о подписке на большой пакет своих журналов на длительный срок. В таком случае сотрудники могут получить доступ ко всем журналам издательства. Однако даже «со скидкой» за большой объем стоимость все еще очень велика. Сколько именно денег каждая организация тратит на подписку, неизвестно, эти данные издатели не раскрывают. Но университеты во многих странах, включая, например, Германию, отказываются от подписки из-за ее дороговизны. Наш институт прекратил подписку на Elsevier, в итоге мы потеряли легальный доступ к большому числу журналов. Elsevier вообще многие научные заведения не любят, так как они хотят очень много денег за подписку.

Другим неудобством является то, что подписка работает только на IP-адресах университета или института. То есть читать статьи из дома или в поездке без VPN нельзя. А иногда доступ к журналам ограничен только компьютерами в библиотеке! А это очень не удобно, и именно поэтому даже те ученые, которые имеют легальный доступ к журналам, часто пользуются SciHub.

Основная же проблема состоит в том, что большинство людей не может получить доступ к статьям. А ведь более половины научных исследований финансируется государством, то есть на наши налоги. А прочитать статью с результатами часто нельзя. Ни в школе, ни у журналиста, ни у обычного заинтересовавшегося человека нет подписки, а значит, и доступа к статье.

Открытый доступ

Проблемы «монетизации» по подписке стали очевидны научному сообществу уже давно. А с развитием интернета появились журналы, которые выходят только онлайн (одно из самых известных таких издательств — PLOS). Поэтому поменялась и монетизация. Теперь за статью платит тот, кто ее публикует, то есть исследователь. И цены вас «приятно» удивят. Статья (в зависимости от журнала) стоит от 1500$ до 5700$. 

Научная «карьера»

Здесь важно понимать, что это только оплата публикации. На выполнение исследований тратятся деньги университета или грантов, и журнал получает готовый контент бесплатно. Можно сравнить эту систему с youtube, как если бы блогерам нужно было платить за выкладывание ролика. Самое интересное, что в конечном итоге платит тот же, кто и раньше (институт, а значит чаще всего государство). Но в системе открытого доступа все желающие могут прочитать полный текст статьи. Такое изменение сильно упрощает взаимодействие с журналами. Поэтому многие поддерживают переход всех статей в открытый доступ (программа OA2020).

Однако в этой системе институты все еще тратят огромные деньги на публикацию исследований. Например, Великобритания сэкономит 8 миллионов евро, если переведет все статьи в открытый доступ — 45 млн против 53 млн, которые они платят сейчас. Только вот 44 млн тоже немаленькая сумма.

^{Из чего складывается стоимость статьи. На этом рисунке стоит обратить внимание на два важных момента. Во-первых, работа рецензента занимает треть стоимости, но она не оплачивается. Во-вторых, прибыль научных журналов составляет 15-20%! А по некоторым оценкам может достигать 35%.}

Большое количество разных журналов и стандартов

Еще одна важная проблема — все журналы и издательства имеют свои разные стандарты. Особенно это заметно, если статью отвергает редактор. Он делает это без детального анализа статьи, ориентируясь только на интерес и новизну исследования, а также на то, как статья подходит под формат и тему журнала.

Рассмотрение статьи редактором может занимать от недели до месяца. Если редактор отвергает статью, авторы отправляют ее в другой журнал. Обычно при этом необходимо сильно изменить форматирование статьи. Количество знаков текста, число картинок, и даже возможность использовать цветные картинки, число источников литературы и многое другое нужно поменять при смене журнала. Изменение может быть достаточно трудоемким, например, сократить текст с 6000 слов до 4000 да еще и с сохранением смысла и точности формулировок.

Если и в следующей журнал статья не подойдет, надо будет менять ее еще раз. Иногда может происходить до 5-6 таких подач. И для каждого журнала тратится время на изменение текста и на рассмотрение редактором. В особенно неудачных случаях потребуется несколько месяцев и немало бесполезных изменений текста прежде, чем статья вообще попадет на рецензию. Важно отметить, что эти изменения никак не влияют на качество статьи, они нужны только для того, чтобы соответствовать формату журнала.

Стоит отметить, что, несмотря на отсутствие разумных ограничений на размер современных журналов — они выпускаются онлайн — число разных журналов только растет. Все издатели создают все новые и новые журналы. При этом, как отмечалось ранее, такое разнообразие не оправдано появлением новых областей знания — современные ученые не читают журнал целиком, а ищут необходимые статьи в специальных базах данных (таких, как Scopus или PubMed).

Зачем же нужно столько новых журналов?

Оценка редактором

Добавлю несколько замечаний по оценке статьи редактором. Редактор — это один человек, который решает, будет ли вообще журнал публиковать вашу работу. Он может на любой стадии отказаться по любым причинам. Редактор заинтересован в наиболее успешных статьях, которые будут активно цитироваться. А это значит, что редакторы отбирают статьи по определенным характеристикам, а другие статьи, наоборот, оказываются в очень невыгодном положении. Привлекают редакторов хайповые темы, заметные имена ученых, соответствие результатов текущему курсу, новые методы и большие массивы данных, которые смогут использовать другие исследователи. И наоборот, узкие области науки, неизвестные авторы и простые методы могут стать отрицательным фактором. Стоит отметить, что часто это не имеет ничего общего с качеством исследования, а отражает лишь его тему.

Редактор принимает решение, прочитав статью (или ее часть), но вы обычно не получите от него развернутых комментариев. Если редактор отвергает статью, то часто в качестве причины называется недостаточная научная новизна, несоответствие теме журнала. Работа редактора совершенно не прозрачна: вы не знаете, прочитал он статью целиком или только абстракт, на основании каких критериев он оценивает новизну исследования и так далее. Спорить с редактором тоже не удается, если статью отверг редактор, обычно ее отправляют в другой журнал.

Также здесь можно отметить, что личное отношение редактора с авторами статьи иногда может влиять на его решение.

Рецензирование (кто, зачем и почем)

Рецензирование — самая важная часть процесса научной публикации. Именно за счет рецензирования мы можем в какой-то степени доверять результату исследований. Без проверки статьи можно было бы просто выкладывать на Хабр (и, возможно, охват был бы даже выше). Поэтому удивительно, что вся стоимость публикации уходит на функционирование журнала и прибыль. Рецензенты работают бесплатно и не получают за свою работу ничего. Также рецензенты делают это в свободное от работы время, они ведь сами являются учеными, и им нужно проводить свои исследования. Такая система работает за счет коллективной ответственности: сегодня ты рецензируешь статью, а завтра рецензия понадобится уже тебе. Но факт остается фактом, журнал получает бесплатно не только контент, но и компетенции рецензентов.

Как происходит рецензия? Редактор, посмотрев вашу статью, выбирает подходящих рецензентов — учёных без совместных работ с авторами статьи, но работающих в той же области. Рецензенты получают текст от редактора и ему же отправляют свои отзывы. Личности рецензентов не раскрываются авторам статьи, вся переписка анонимна.

Время удивительных историй

История 1.
Найти рецензентов — основная задача редактора. Но он справляется с ней не всегда. В неединичных случаях редактор может найти только одного специалиста из нужной области, который согласится провести рецензию.
Очень неприятная ситуация — прождать несколько месяцев, пока редактор ищет рецензента, а на выходе получить ответ, что рецензентов найти не удалось и журнал вынужден отказать в публикации.

История 2.
Иногда рецензенты перестают отвечать. Хуже всего, если это происходит уже в процессе ревизии. Можно потерять немало времени, если рецензент предложит провести дополнительные эксперименты, а потом пропадет. В такой ситуации поиск решения остается за редактором, и иногда он может просто отказать в публикации.
При этом рецензент не связан никакими формальными обещаниями, поэтому и последствий для него не будет.

Внимательно изучив статью, рецензенты предлагают изменения, которые необходимо внести, — исправление формулировок, дополнительные контроли и эксперименты. Хороший рецензент может очень сильно улучшить статью. Очень многое зависит именно от того, кто рецензирует вашу статью. Насколько внимательно рецензент проверит выкладки? Как тщательно посмотрит дополнительные материалы и базы данных? Проверит ли статистические тесты и использованные методы? Так как рецензентов всегда два-три человека, то роль каждого очень велика.

Также здесь кроются возможности для злоупотреблений. Рецензент может попросить процитировать его статью или написать негативный отзыв, потому что не согласен с вашей позицией, не опираясь на фактическое качество исследования.

Авторы могут дискутировать с рецензентами — не обязательно полностью принимать все их изменения. Но опубликовать статью в исходном виде, совсем без исправлений, почти невозможно. В большинстве журналов корректировки вносятся в текст статьи, а переписка с рецензентами недоступна никому, кроме авторов. То есть узнать, что именно было изменено рецензентами, нельзя.

^{Я убрал почти все комиксы под спойлер, но эта картинка идеально объясняет, что получается после рецензии}

Время ожидания

Чем же занимаются авторы, пока идет рецензия? А ничем, они ждут отзывы. Конечно, в это время продолжаются исследования по следующим проектам, но по статье на ревизии экспериментов делают очень мало.

Сколько нужно времени? Рассмотрение статьи редактором (до отправки рецензентам) занимает от одной недели до месяца. Иногда стоит напомнить редактору про свою статью, тогда процесс ускоряется. Ревизия может длиться от одного месяца до полугода. Надо понимать, что труд рецензента не оплачивается, поэтому многие отказываются проводить рецензию. Кроме того, может быть сложно найти рецензента и без конфликта интересов, и эксперта в области статьи. Поэтому в некоторых случаях поиск рецензентов занимает немало времени. В исключительных ситуациях редактор не может найти рецензентов, и это еще больше затягивает процесс.

Почему это может быть проблемой? Здесь нужно отметить, что статьи часто необходимы для отчетов по грантам, аспирантам публикации нужны для защиты, иногда у автора статьи скоро меняется место работы — часто есть тот или иной срок, к которому надо опубликовать исследование. Понятно, что выпускать неготовую статью неправильно. Но разброс по срокам до полугода очень мешает планировать работу.

Рецензия может протекать в несколько раундов. После внесенных изменений рецензенты могут попросить дополнительных экспериментов. В итоге рецензия может занять несколько лет.

^{И это не шутка.}

А это шутка

Воспроизводимость

Reproducibility

Это очень большая проблема научного процесса сама по себе. «Кризис воспроизводимости», особенно в медицинских науках, — это одна из важнейших преград к быстрому и качественному развитию науки. Эта тема уже была достаточно подробно разобрана на Хабре (раз и два), поэтому здесь мы обсудим только влияние на это нынешней системы публикаций.

^{Факторы, затрудняющие воспроизведение результатов. Темные стрелки — то, что можно исправить при рецензии и публикации. Светлыми стрелками отмечены факторы опосредованно связанные с публикациями.}
А влияние это велико. На картинке стрелками отмечены основные причины низкой воспроизводимости, которые связаны с работой журналов. Именно издатель статьи должен проверить наличие кода, доступность данных в базе, описание методов и всех необходимых материалов. Однако многие журналы сильно ограничивают объем статьи, и подробные методы просто не помещаются в основной текст. Авторы выкладывают его в дополнительные материалы (Supplementary), а они гораздо меньше контролируются редактором и рецензентами, их сложнее найти по ссылке, и они могут быть в любом формате, — все остается на усмотрение авторов.

Время удивительных историй

История 1.
Нередко бывает, что авторы не описывают экспериментальный протокол целиком, а ссылаются на опубликованный ранее. Все бы ничего, да вот в статье по ссылке может быть ссылка на более раннюю статью и так далее.
Однажды, пройдя по такой цепочке 5 статей, я обнаружил: «Метод выполнялся по стандартному протоколу». То есть воспроизвести результаты невозможно никак.

История 1.1
Многие, ссылаясь на предыдущий протокол, еще отмечают «с незначительными изменениями». Разумеется, никаких подробностей и масштабов этих «незначительных изменений» не указывают.

История 2.
Неоднократно многие исследователи проверяли доступность программ и других ресурсов, опубликованных в статьях. В одной из таких работ было показано, что приблизительно в 30% из рассмотренных статей, описывающих новые программы, ссылки на код вообще не работают. Еще в трети статей программу не удалось установить или запустить.

Интересно, что именно в самых крутых журналах очень часто выходят статьи, где недостаточно подробно описаны методы, ссылки на исходники не работают, код недоступен, а в базах данных нет самых важных файлов. 

Сама структура статей и процесса публикации приводит к низкой воспроизводимости, — если вы не знаете, что делали авторы, то вы не сможете это повторить. Но еще большую роль играет два других факта.

«Publish or perish». Я писал это в самом начале, именно так работает сейчас вся наука. Это заставляет ученых искать наиболее хайповые результаты и публиковать их как можно быстрее. При этом выигрывают те, кто пишет много статей, а не те, кто делает качественные исследования. Давление поиска грантов приводит к тому, что выгоднее публиковаться чаще, даже если потом воспроизвести результаты не получится. Это уже неважно, — статья-то опубликована. А в некоторых случаях подобное может приводить и к мошенничеству: как небольшим махинациям с картинками (вроде тех, что можно найти на Retraction Watch), так и подлогам результатов целых статей.

И не менее важный факт — никто не заинтересован в повторении чужих экспериментов. Такие работы очень сложно опубликовать и почти невозможно получить на это грант. Все хотят новых исследований. Журналам особенно выгодно выпускать статьи, которые наберут как можно больше цитирований. А повторение известных результатов вызовет гораздо меньше интереса. Занятно, что воспроизведение чужих исследований сложно опубликовать независимо от результатов, — подтвердили вы предыдущую статью или опровергли.

Использование статей как меры крутости

Очень важная проблема современной системы не относится напрямую к статьям. Как я уже говорил в начале, публикации являются мерой успеха научной работы и основным критерием получения грантов. Само по себе это не проблема. Вопрос в реализации — как оценить крутость статьи? Существует огромное множество разных библиометрических показателей. Самые главные — это число цитирований статьи и импакт-фактор журнала.

Число цитирований статьи показывает сколько раз в других рецензируемых статьях упоминалось ваше исследование. Это важная характеристика, оценивающая востребованность исследования в научном сообществе, достаточно объективный показатель, но не без недостатков. Основная проблема такого параметра — цитирование статьи накапливается только через несколько месяцев (для очень заметной работы) или несколько лет (обычный вариант). То есть сразу после выхода публикации нельзя оценить по числу цитирований ее важность и влияние.

Импакт-фактор журнала — это среднее цитирование за год всех статей, которые вышли за два предыдущих года. То есть это средняя мера цитирования статей в журнале. Какие проблемы у такого параметра? Среднее очень чувствительно к выбросам, поэтому наибольшее влияние на импакт-фактор оказывает небольшое число самых цитируемых статей.

Но главная проблема — импакт-фактор журнала говорит очень мало о качестве конкретной статьи в этом журнале. Тем не менее, этот параметр очень часто используется именно для оценки статей. Импакт-фактор доступен сразу, и многие гранты используют именно его, чтобы присвоить статье некоторое значение качества.

В чем проблема такого подхода? Как вы уже знаете, решение о публикации в журнале (или отказе) принимается единственным человеком — редактором. И если он сочтет статью неинтересной, недостаточно хайповой или неподходящей по любому другому параметру — в публикации будет отказано. А значит, статью подадут в другой журнал с импакт-фактором пониже. То есть содержание работы не изменилось, а ее оценка понизилась, и не из-за качества исследования. 

Обмен информацией и взаимодействие

В конце я бы хотел обсудить не самую важную, но довольно показательную проблему. Ведь в 21 веке научные статьи не сильно отличаются от того, что было сто лет назад. Да, мы можем скачать статью из интернета (если у вас есть к ней доступ), но это все равно текстовый документ с картинками. Качество изображений стало лучше (хотя в некоторых журналах за цветные картинки все еще надо дополнительно платить), появились гиперссылки на источники литературы (которые работают почему-то не очень удобно), но на этом все. И вы читаете текст, сверстанный в колонки, как это было в конце 19 века.

^{Статья из самого первого выпуска журнала Nature. Те, кто знаком с этим журналом, узнали формат Letter. Он используется до сих пор, хотя совершенно неудобен для публикации современных научных данных.}
Основная функция журнала сейчас — хостинг pdf. Это меньше, чем делает, например, Wikipedia. При этом за такой сервис нужно платить несколько тысяч долларов за один документ, — наверно, самый дорогой хостинг в мире.

Понятно, что я утрирую, но в наше время есть столько возможностей для отзывов, оценок и агрегации статей. Можно предоставить платформу ученым для непосредственного обсуждения статей прямо на сайте, и привлечь их туда. Если взять для примера Хабр, то комментарии часто не уступают самой статье.

Сейчас у некоторых журналов есть возможность комментирования, но ею почти никто не пользуется. С одной стороны, потому что эта функция не очень удобна и реализована хуже, чем в привычных приложениях, с другой, потому что журнал не тратит сил на привлечение ученых и развитие такой платформы.

Мне кажется, что современный опыт из разных областей, организующих большой объем данных, — социальных сетей, сайтов-каталогов (вроде, Кинопоиска), Википедии и многих других — позволит изменить то, как мы обмениваемся научной информацией. Издательства делают робкие шаги в этом направлении, но их устраивает сложившаяся ситуация, им не нужно ничего менять.

Почему так сложно что-то изменить

В конце я бы хотел пригласить всех желающих к дискуссии. Напишите, был ли у вас негативный опыт взаимодействия с журналами. А может быть вы полностью довольны современной системой? Буду рад услышать ваше мнение о научных публикациях в комментариях.

А от том, как решаются некоторые из описанных проблем и что можно сделать еще и какие есть перспективы развития поговорим с вами в следующий раз.

Благодарности

Большое спасибо Ольге Золотаревой за дискуссии и идеи для этой статьи. Спасибо Софье Камалян за помощь в проверке текста. А также всем коллегам, с которыми обсуждали проблемы научных публикаций.

Автор: NikolayZolotarev

Источник