Чтобы понять, действительно ли новое лечение болезни лучше, чем старые методы лечения, врачи и исследователи обращаются к лучшим имеющимся доказательствам. Медицинские работники хотят "Последнее слово" доказательств, чтобы разрешить вопросы о том, какие методы лечения являются лучшими.
Но не все медицинские доказательства одинаковы. И существует четкая иерархия доказательств: мнения экспертов и отчеты о случаях отдельных событий находятся на самом низком уровне, а хорошо проведенные рандомизированные контролируемые испытания – на самом верху. На самом верху этой иерархии находятся метаанализы – исследования, объединяющие результаты нескольких исследований, в которых задавался один и тот же вопрос. И самая, самая верхняя часть этой иерархии – метаанализ, выполняемый группой под названием Cochrane Collaboration.
Чтобы стать членом Кокрановского сотрудничества, отдельные исследователи или исследовательские группы должны придерживаться очень строгих руководящих принципов в отношении того, как следует представлять и проводить метаанализы. Вот почему Кокрановские обзоры обычно считаются лучшими метаанализами.
Однако никто никогда не спрашивал, отличаются ли результаты метаанализа, выполненного Кокрановским сотрудничеством, от метаанализа из других источников. Теоретически, если вы сравните Кокрановский метаанализ и метаанализ, не связанный с Кокрейном, оба опубликованные в одинаковые временные рамки, можно ожидать, что они выбрали бы одни и те же исследования для анализа, и что их результаты и интерпретация будут более полезными. или меньше совпадать.
Наша команда из Школы общественного здравоохранения Бостонского университета решила выяснить. И что удивительно, мы обнаружили не это.
Во всяком случае, что такое метаанализ?
Представьте, что у вас есть пять небольших клинических испытаний, в каждом из которых обнаружена в целом положительная польза, скажем, от приема аспирина для предотвращения сердечных приступов. Но поскольку в каждом из исследований было небольшое количество испытуемых, ни одно из них не могло с уверенностью заявить, что положительные эффекты были не просто случайными. Говоря языком статистики, такие исследования будут считаться "слабый."
Есть хороший способ повысить статистическую мощность этих исследований: объединить эти пять небольших исследований в одно. Вот что делает метаанализ. Объединение нескольких небольших исследований в один анализ и усреднение этих исследований может иногда склонить чашу весов и позволить медицинскому сообществу с уверенностью узнать, работает ли данное вмешательство или нет.
Мета-анализ эффективен и дешев, поскольку не требует проведения новых испытаний. Скорее, это вопрос поиска всех соответствующих исследований, которые уже были опубликованы, а это может быть на удивление сложно. Исследователи должны быть настойчивыми и методичными в своих поисках. Поиск исследований и определение того, достаточно ли они хороши, чтобы доверять, – вот где искусство – и ошибка – этой науки становится критической проблемой.
На самом деле это основная причина, по которой было основано Кокрановское сотрудничество. Арчи Кокрейн, исследователь в области здравоохранения, признал силу метаанализа, но также и огромную важность его правильного выполнения. Мета-анализ Кокрановского сотрудничества должен соответствовать очень высоким стандартам прозрачности, методологической строгости и воспроизводимости.
К сожалению, немногие могут выделить время и усилия, чтобы присоединиться к Кокрановскому сотрудничеству, а это означает, что подавляющее большинство метаанализов не проводится Коллаборацией и не обязано придерживаться их стандартов. Но имеет ли это значение?
Насколько разными могут быть два метаанализа?
Чтобы выяснить это, мы начали с определения 40 пар метаанализов, один из Кокрейновского, а другой нет, которые охватывали одно и то же вмешательство (e.грамм., аспирин) и исход (е.грамм., сердечные приступы), а затем сравнил и противопоставил их.
Во-первых, мы обнаружили, что почти 40 процентов Кокрановских и других метаанализов расходились в своих итоговых статистических ответах. Это означает, что обычные читатели, врачи или политики в области здравоохранения, например, придумали бы принципиально другую интерпретацию того, было ли вмешательство эффективным или нет, в зависимости от того, какие метаанализы им довелось прочитать.
Во-вторых, эти различия оказались систематическими. Не-Кокрановские обзоры, в среднем, склонны предполагать, что вмешательства, которые они тестировали, были более эффективными, с большей вероятностью вылечили состояние или предотвратили некоторые медицинские осложнения, чем предполагали Кокрановские обзоры. В то же время не-Кокрейновские обзоры были менее точными по своей точности, а это означает, что вероятность того, что результаты были получены случайно, была выше.
Мета-анализ – это не что иное, как причудливое средневзвешенное значение его компонентных исследований. Мы были удивлены, обнаружив, что примерно 63 процента включенных исследований были уникальными для того или иного набора метаанализов. Другими словами, несмотря на тот факт, что два набора метаанализов предположительно будут искать одни и те же статьи, используя аналогичные критерии поиска, за аналогичный период времени и из аналогичных баз данных, только около трети документов, содержащихся в двух наборах, включены были такие же.
Кажется вероятным, что большинство или все эти различия сводятся к тому, что Кокрейн настаивает на более жестких критериях. Метаанализ хорош настолько, насколько хороши исследования, которые он включает, и усреднение плохих исследований может привести к плохому результату. Как говорится, "мусор на входе, мусор на выходе."
Интересно, что анализы, в которых сообщалось о гораздо более высоких размерах эффекта, как правило, снова цитировались в других статьях с гораздо большей частотой, чем анализы, сообщавшие о более низких размерах эффекта. Это статистическое воплощение старой журналистской поговорки "Если кровоточит, это ведет." Большие и смелые эффекты привлекают больше внимания, чем результаты, показывающие маргинальные или сомнительные результаты. В конце концов, медицинское сообщество – всего лишь человек.
Почему это важно?
На самом базовом уровне это показывает, что Арчи Кокрейн был абсолютно прав. Важны методологическая последовательность, строгость и прозрачность. Без этого есть риск сделать вывод, что что-то работает, когда нет, или даже просто переоценить преимущества.
Но на более высоком уровне это еще раз показывает нам, насколько сложно создать единую интерпретацию медицинской литературы. Метаанализ часто используется как последнее слово по данному предмету, как арбитры двусмысленности.
Очевидно, что эта роль ставится под сомнение тем фактом, что два метаанализа, якобы по одной и той же теме, могут прийти к разным выводам. Если рассматривать метаанализ как "Золотой стандарт" в нашу нынешнюю эпоху "Доказательная медицина," как средний врач, политик или даже пациент реагирует, когда два золотых стандарта противоречат друг другу? Пусть покупатель будет бдителен.