Новое исследование, опубликованное в журнале с открытым доступом PLOS Biology, предполагает, что научная литература может быть скомпрометирована из-за существенной предвзятости в сообщениях об исследованиях на животных, и может дать неверную картину шансов того, что потенциальные методы лечения могут работать на людях.
Тестирование нового терапевтического вмешательства (например, лекарственного препарата или хирургической процедуры) на людях – дело дорогое, рискованное и этически сложное, поэтому подавляющее большинство сначала тестируется на животных. К сожалению, стоимость и этические вопросы ограничивают объем исследований на животных, что дает им ограниченную статистическую мощность, и в результате в научной литературе содержится много исследований, результаты которых либо не уверены в своих результатах, либо противоречат друг другу. Один из способов обойти это ограничение – провести "метаанализ": ученые собирают данные из большого количества опубликованных исследований по одному и тому же вмешательству, объединяют их, используя сложные статистические методы, а затем получают гораздо более прочную основу для принятия решения о продолжении клинических испытаний на людях.
В новом исследовании Константинос Цилидис, Джон Иоаннидис и его коллеги из Стэнфордского университета изучили 160 ранее опубликованных метаанализов исследований на животных, посвященных потенциальным методам лечения ряда серьезных неврологических расстройств человека (рассеянный склероз, инсульт, болезнь Паркинсона, болезнь Альцгеймера и позвоночник). травма пуповины). Эти метаанализы охватили 1000 опубликованных оригинальных исследований на животных, в которых сравнивались более 4000 наборов животных. Авторы’ "метаанализ метаанализа" использовали наиболее точное исследование в каждом метаанализе для оценки истинной величины эффекта конкретного лечения. Затем он спросил, содержит ли ожидаемое количество исследований статистически значимые выводы. Вызывает тревогу то, что авторы обнаружили, что более чем в два раза больше исследований, чем ожидалось, оказались статистически значимыми.
Авторы предполагают, что вместо того, чтобы отражать умышленное мошенничество со стороны ученых, проводящих оригинальные исследования, это "систематическая ошибка избыточной значимости" происходит из двух основных источников. Во-первых, ученые, проводящие исследования на животных, склонны выбирать метод анализа данных, который, по-видимому, дает им "лучше" результат. Второй возникает потому, что ученые обычно хотят публиковаться в престижных журналах; такие журналы, как правило, предпочитают исследования с положительными, а не отрицательными результатами. Многие исследования с отрицательными результатами даже не отправляются для публикации или, если они представлены, либо не могут быть опубликованы, либо публикуются с опозданием в малозаметных журналах, что снижает их шансы на включение в метаанализ.
Вполне вероятно, что типы систематической ошибки, описанные в новом документе PLOS Biology, были ответственны за ненадлежащее продвижение методов лечения из исследований на животных в клинические испытания на людях. Также кажется маловероятным, что это явление ограничивается исследованиями неврологических расстройств; скорее, это, вероятно, общая черта отчетов об исследованиях на животных.
Авторы предлагают несколько способов устранения наблюдаемой ими систематической ошибки. Во-первых, исследования на животных должны соответствовать строгим руководящим принципам (например, руководствам ARRIVE) по дизайну и анализу исследований. Во-вторых, исследования на животных (например, клинические испытания на людях) должны быть предварительно зарегистрированы, чтобы гарантировать публикацию результатов, какими бы отрицательными они ни были. В-третьих, наличие методологических деталей и необработанных данных упростило бы другим ученым проверку опубликованных исследований.