В 2019 году нейробиолога Скотта Марека попросили опубликовать своё исследование в журнале, посвящённом развитию детей. Предыдущие работы показали, что различия в функциях между детьми связаны с результатами тестов на интеллект. Марек решил изучить эту тенденцию у 2 тысяч детей. Постепенно набор данных для исследования увеличивался, и учёный рассчитывал, что они только повысят надёжность уже полученных результатов. Марек совместно со своими коллегами разделили данные на две части и провели один и тот же анализ для каждой из частей. Они ожидали, что итоговые результаты совпадут, но вместо этого обнаружили обратное.
16 марта 2022 года авторы опубликовали результаты своей работы, показывающие, даже масштабного исследования результатов сканирования слишком мало, чтобы точно определить связи между функциями и поведением человека.
Статья авторов, вероятно, говорит о том, что выводы аналогичных исследований с десятками и сотнями испытуемых могут быть неверными. Такие работы связывают различия в структуре и активности с разницей в когнитивных способностях, психическом здоровье и поведении. Например, многочисленные исследования выявили определённые анатомические особенности или паттерны активности , которые (как утверждается в работах) могут отличать людей, у которых была диагностирована депрессия, от людей без депрессии. Эти исследования также часто были направлены на поиск биомаркеров поведенческих черт.
Как утверждает один из рецензентов статьи, когнитивный нейробиолог из Стэнфордского университета в Калифорнии Рассел Полдрак, есть множество исследователей, посвятивших свою карьеру науке. По его словам, фактически в этой статье говорится, что результаты их работы — в основном мусор.
Стоит уточнить, что критика авторов применима только к той части исследований, которая направлена на объяснение различий в поведении людей с помощью визуализации . Тем не менее, некоторые учёные считают, что критика затрагивает эту область слишком широко. По их словам, более мелкие и детальные исследования связей между и поведением могут привести к достоверным выводам.
Слабые корреляции
Марек вместе с Нико Досенбахом (нейробиолог из WashU) и другими коллегами решили разобраться в причинах неудачного анализа данных. Они проанализировали МРТ-снимки и поведенческие данные 50 тысяч участников нескольких крупных исследований по визуализации , таких как UK Biobank. Некоторые из этих работ измеряли конкретные характеристики структуры , например, размер определённой области. Другие использовали ФМРТ — измерение мозговой активности в покое или при выполнении различных задач, таких как запоминание. Это необходимо, чтобы выявить, как между собой взаимодействуют различные области .
Далее исследователи использовали взятые из больших наборов данных подмножества для моделирования миллиардов небольших исследований. В ходе этих анализов были выявлены связи между МРТ-сканированием и различными когнитивными, поведенческими и демографическими характеристиками в выборках от 25 человек до более чем 32 тысяч человек.
В имитированных исследованиях с участием тысяч людей авторы выявили надёжные корреляции между структурой и активностью в определённых участках с различными поведенческими чертами. Но эти связи, как правило, были намного слабее, чем те, о которых обычно сообщается в большинстве других реальных исследованиях.
Исследователи измерили силу корреляции, используя метрику под названием r, для которой значение 1 означает идеальную корреляцию, а 0 — её отсутствие. Самые сильные надежные корреляции имели r = 0,16, средние показатели колебались в пределах 0,01. В опубликованных реальных исследованиях значения r выше 0,2 не являются редкостью.
После авторы смоделировали более мелкие исследования и выявили гораздо более сильные ассоциации с высокими значениями r, а также то, что эти результаты не повторялись в других выборках вне зависимости от их размера. Даже ассоциации, выявленные в ходе исследования с участием 2 тысяч участников, имели только 25% шанс на повторение. Исследования с участием 500 или менее участников давали надёжные ассоциации всего в 5% случаев.
Ещё более масштабные исследования
Авторы работы не пытались повторить другие опубликованные исследования ассоциаций в масштабах всего . Но уже полученные данные говорят о том, что распространённые в работах высокие значения r в большинстве случаев не что иное, как случайность, и их вряд ли возможно воспроизвести повторно.
По словам Досенбаха, факторы, препятствующие воспроизводимости в других областях (тенденция публиковать только статистически значимые результаты с высокими показателями), означают, что эти ложные ассоциации между и поведением наводнили научные публикации. Авторы публикуют только то, что имеет достаточно сильный эффект. Их легко можно найти, но, как утверждает Досенбах, они ошибочны.
Для повышения надёжности данных исследования визуализации должны стать намного масштабнее. Генетические исследования страдали от ложноположительных результатов до тех пор, пока учёные и их спонсоры не начали искать ассоциации на очень широких выборках. В крупнейших общегеномных ассоциативных исследованиях в настоящее время участвуют миллионы участников. Марек не знает, сколько необходимо людей для получения надёжных результатов, но количество испытуемых совершенно точно должно измеряться в тысячах.
Как говорит Катерина Граттон (когнитивный нейробиолог из Северо-Западного университета в Эванстоне), статья Марека предполагает, что в большинстве случаев, если у вас нет действительно больших выборок, вы, скорее всего, ошибаетесь в полученных результатах, или вам повезло найти хорошую корреляцию между и поведением. По её словам, это очень важная работа в данной области.
Но некоторые учёные утверждают, что небольшие исследования всё ещё имеют ценность. Нейробиолог из Национального института психического здоровья в Бетесде Питер Бандеттини говорит, что исследования, подобные тем, что смоделировала команда Марека, искали корреляции между грубыми измерениями поведения или психического здоровья и сканированием . Условия могут варьироваться от участника к участнику, размывая достоверность полученных ассоциаций.
Стивен Смит, английский нейробиолог из Оксфордского университета, утверждает, что тщательно отбирая участников и анализируя данные с использованием сложных подходов, вероятно, получится найти более сильные ассоциации между сканированием и поведением, чем те, что были выявлены в исследовании. Он беспокоится, что представленная статья, возможно, переоценивает ненадёжность полученных результатов.
Автор: Анкотир
