Может ли ИИ автоматизировать создание обзорных статей?

Инструменты искусственного интеллекта отлично справляются с качественным анализом, но буксуют при работе с количественными показателями.

Обзоры научной литературы - важнейшая составляющая процесса развития научных областей: Они дают представление о текущем состоянии дел в определенном направлении благодаря всестороннему анализу существующих исследований и выявляют пробелы в знаниях, на которых могут быть сосредоточены будущие исследования. Однако написание хорошо выполненной обзорной статьи - дело многогранное.

Исследователи часто прочесывают множество научных работ. Они должны отобрать исследования, которые не устарели, но при этом избежать предвзятости. Затем начинается интенсивная работа по оценке качества исследований, извлечению релевантных данных из работ, которые попали в список, анализу данных для извлечения выводов и написанию убедительного изложения, которое подводит итог прошлому и заглядывает в будущее. Синтез исследований - это отдельная область знаний, и даже отличные ученые не могут писать отличные обзоры литературы.

На помощь приходит искусственный интеллект. Как и во многих других отраслях, появилась целая плеяда стартапов, использующих искусственный интеллект для ускорения, упрощения и кардинального изменения процесса изучения научной литературы. Многие из этих стартапов позиционируют себя как поисковые системы с искусственным интеллектом, ориентированные на научные исследования, причем у каждой из них есть свои продукты с отличительными особенностями и целевая аудитория.

Сервис Elicit предлагает пользователям «анализировать научные работы со сверхчеловеческой скоростью» и рассказывает о том, что его используют эксперты-исследователи из таких организаций, как Google, NASA и World Bank. Специалисты Scite утверждают, что создали крупнейшую базу данных цитирования, постоянно отслеживая 200 миллионов научных источников, и предлагают «умные цитаты», которые классифицируют выводы на подтверждающие или противоположные доказательства. Проект Consensus имеет демонстрационную страницу, которая, похоже, призвана помочь неспециалистам получить более глубокое понимание заданного вопроса, объясняя продукт как «Google Scholar в сочетании с ChatGPT» и предлагая измерение уровня консенсуса, которое суммирует основные выводы. Это лишь некоторые из многих.

Но может ли ИИ заменить качественный, систематический обзор научной литературы?

Эксперты в области анализа исследований сходятся во мнении, что в настоящее время модели ИИ отлично справляются с качественным анализом - другими словами, с созданием описательного резюме научной литературы. Не так хорошо они справляются с более сложным количественным анализом, который делает обзор по-настоящему систематическим. Количественный анализ обычно включает в себя статистические методы, такие как мета-анализ, который анализирует числовые данные нескольких исследований, чтобы сделать более надежные выводы.

«Модели ИИ могут почти на 100 % превосходить человека в обобщении ключевых тезисов и написании развернутых аргументов», - говорит Джошуа Поланин (Joshua Polanin), соучредитель Центра методов анализа и интеграции (MOSAIC) при Американском институте исследований. «Но мы не достигли и 20 процентов в области количественного анализа», - говорит он. «Настоящий мета-анализ следует строгому процессу поиска исследований и количественной оценки результатов. Эти цифры являются основой для доказательных выводов. ИИ и близко не способен на это».

Проблема с количественной оценкой

Процесс количественной оценки может быть сложным даже для подготовленных экспертов, объясняет Поланин. И человек, и искусственный интеллект, как правило, могут прочитать исследование и подвести итог: Исследование A обнаружило эффект или Исследование B не обнаружило эффекта. Сложность заключается в том, чтобы определить степень эффекта. Более того, часто существуют различные способы измерения эффектов, и исследователи должны найти исследования и схемы измерений, которые соответствуют предпосылкам их исследовательского вопроса.

Поланин говорит, что модели должны сначала определить и извлечь соответствующие данные, а затем принять решение о том, как их сравнивать и анализировать. «Даже если мы, как люди, пытаемся принимать решения заранее, в конечном итоге может оказаться, что вам придется менять свое мнение на ходу», - говорит он. « Это не то, с чем хорошо справится компьютер».

Учитывая самонадеянность, которая царит вокруг ИИ и в культуре стартапов, можно было бы ожидать, что компании, создающие эти модели ИИ, будут возражать против оценки Поланина. Но Эрик Олсон (Eric Olson), соучредитель компании Consensus, не станет спорить: «Честно говоря, я не могу не согласиться», - говорит он.

По словам Поланина, Consensus намеренно «выше уровнем, чем некоторые другие инструменты, давая людям базовые знания для быстрого понимания», - добавляет Олсон. Он видит квинтэссенцию пользователя как дипломированного специалиста: человека с промежуточной базой знаний, который работает над тем, чтобы стать экспертом. Consensus может быть одним из многих инструментов для настоящего эксперта в данной области, или же он может помочь человеку, не являющемуся ученым, оставаться в курсе событий, как, например, одному из пользователей Consensus в Европе, который постоянно следит за исследованиями редкого генетического заболевания своего ребенка. «Он провел сотни часов в Google Scholar, будучи не исследователем. Он сказал нам, что мечтал о чем-то подобном в течение 10 лет, и это изменило его жизнь - теперь он пользуется этим сервисом каждый день», - говорит Олсон.

В Elicit команда нацелена на другой тип идеального клиента: «Кто-то работает в промышленности в сфере исследований и разработок, возможно, в биомедицинской компании, пытаясь решить, стоит ли продолжать разработку какого-либо нового медицинского препарата», - говорит Джеймс Брейди, руководитель инженерного отдела.

Учитывая высокую заинтересованность пользователей, Elicit наглядно демонстрирует им утверждения о причинно-следственных связях и доказательства, которые их подтверждают. Инструмент разбивает сложную задачу обзора литературы на управляемые части, которые сможет понять человек, а также обеспечивает большую прозрачность, чем ваш среднестатистический чатбот: Исследователи могут увидеть, как модель искусственного интеллекта пришла к тому или иному ответу, и сверить его с источником.

Будущее инструментов научного анализа

Брэди согласен с тем, что современные модели ИИ не могут обеспечить полноценные систематические анализы в стиле Кокрана, но он говорит, что это не является фундаментальным техническим ограничением. Скорее, это вопрос будущих достижений в области ИИ и более совершенного промт инжиниринга проектирования. «Я не думаю, что наш мозг может сделать что-то такое, чего в принципе не может сделать компьютер», - говорит Брэди. «Это касается и процесса систематического анализа».

Роман Лукьяненко (Roman Lukyanenko), профессор Университета Вирджинии, специализирующийся на методах исследований, согласен с тем, что в будущем следует уделять большое внимание разработке способов поддержки процесса первоначального поиска ответов. Он также отмечает, что нынешние модели, как правило, отдают предпочтение статьям из журналов, которые находятся в свободном доступе, в то время как множество высококачественных исследований существует за платной стеной. Тем не менее, он оптимистично смотрит в будущее.

«Я считаю, что искусственный интеллект - это огромная революция на многих уровнях для этого пространства», - говорит Лукьяненко, который вместе с Геритом Вагнером (Gerit Wagner)и Ги Паре (Guy Paré) стал соавтором исследования об искусственном интеллекте и обзора литературы, проведенного до ChatGPT 2022 года и получившего широкую огласку. «У нас есть лавина информации, но наша человеческая биология ограничивает то, что мы можем с ней сделать. Эти инструменты представляют собой огромный потенциал».

По его словам, прогресс в науке часто достигается благодаря междисциплинарному подходу, и именно здесь потенциал ИИ может быть самым большим. «У нас есть термин „человек эпохи Возрождения“, а мне нравится думать о „“ИИ эпохи Возрождения»: нечто, что имеет доступ к большому объему наших знаний и может устанавливать связи», - говорит Лукьяненко. «Мы должны настойчиво подталкивать его к тому, чтобы он совершал серендипитные, непредвиденные, глубокие открытия между областями».