Леонов В.П.

Международный журнал 
медицинской практики,
2007, вып. 2, стр.19-35.

В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности.

Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании. Установлено, что наиболее часто встречаются случаи ошибочного использования t-критерия Стьюдента, без необходимой проверки обязательных для этого условий. Наиболее часто подобные ошибки встречаются в публикациях журнала "Бюллетень экспериментальной биологии и медицины". 

Достаточно часто в российских публикациях приводятся описания некорректного применения многомерных статистических методов, таких как факторный и кластерный анализ. На основе анализа причин живучести таких ошибок в биомедицине, даны конкретные рекомендации по разрешению этой проблемы. Основным средством для этого является создание в медицинских исследовательских организациях лабораторий биостатистики.

Оглавление

Ошибка – это …

Ошибка или обман?

Обзоры ошибок применения статистики в медицине

Причины возникновения ошибок и меры борьбы с ними

Ошибки описания статистических методов

Меметический анализ описаний методов статистики

Локализация ошибочных описаний внутри научных школ

Мемы камуфляжных описаний

Смутно пишут о том, о чём смутно представляют

Коварный t-критерий Стьюдента

«… не зная законов языка ирокезского, можешь ли ты делать такое суждение  по  сему предмету…»

Что же делать, чтобы избежать ошибок?

Вырази ложную мысль ясно,
И она сама себя опровергнет.

Л. Вовенарг

Кроме ошибок являющихся результатом неправомерного использования тех или  иных статистических методов, немалое количество ошибок представляют собой некорректное описание того, что, и как было сделано исследователем с использованием этих методов. И нередко читателю по такому описанию невозможно установить,  какие конкретно статистические методы были использованы, насколько корректно выполнен статистический анализ, заслуживают ли доверия его результаты и авторские выводы, построенные на их основе.В большинстве российских медицинских журналов требования к описанию этой части исследования вообще отсутствуют. В других же эти требования являются калькой не вполне удачных рекомендаций, заимствованных из других журналов. {Леонов, 2003 }. Между тем, имеется немало методических материалов, регламентирующих корректное описание данного этапа исследований. Это книги {Edited by Thomas A.Lang, 1997 }, и разнообразные рекомендации на сайтах медицинских журналов. Наиболее полно и подробно такое описание дано на сайте BMJ (URL: http://bmj.bmjjournals.com/

Анализ более 1500 опубликованных статей и диссертаций биомедицинской тематики, проведенный нами в течение последних 15 лет, показал, что примерно в 25% работ, в которых авторы применяли статистику, вообще не упоминаются  использованные ими статистические методы и критерии. Большинство таких работ изобилуют выражениями типа «р<0,05», «p<0,01» или «р>0,05». Однако нигде в тексте не сообщается, к каким конкретно статистическим критериям относятся данные вероятности.

В 63 статьях журнала «Бюллетень экспериментальной биологии и медицины» (БЭБМ) за 1997 г., в которых использовалось выражение «p<0,05», вообще не упоминается использованный авторами статистический критерий. При чтении таких работ возникает ощущение того, что выражения «р<0,05» или «p<0,01» «самозарождаются». Между тем, в контексте описываемых задач выражения «р<0,05» и «p<0,01» могут относиться только к конкретным  статистическим критериям, например критериям Пирсона, Фишера, Вилкоксона, Стьюдента и т.д. Отсутствие данных критериев в тексте позволяет предположить, что авторы либо не считают упоминание использованных статистических критериев достаточно важным для того, чтобы приводить их в диссертации, монографии или статье, либо же специально не приводят ее исходя из других мотивов. Подобный стиль описания наиболее характерен для журналов БЭБМ, «Кардиология» и «Вестник РАМН».

Почему важна конкретизация в тексте всей схемы статистического анализа экспериментальных данных, включая указание использованных при этом статистических критериев? Как для каждого лекарственного препарата имеются свои специфические противопоказания к применению, так и для конкретных статистических критериев имеются аналогичные ограничения. Поэтому детальное описание схемы анализа экспериментальных данных является важнейшим аргументом в пользу адекватности выбранного критерия анализируемым данным и проверяемой статистической гипотезе, а стало быть, и обоснованием надежности полученных при этом статистических выводов. В противном случае такие выводы сомнительны, не могут считаться научно обоснованным.

Оставшиеся 75%  работ содержат в той или иной форме описание использованных  методов статистики, обычно в разделе (главе) «Материал и методы». В большинстве работ описание статистических методов и критериев дается в форме шаблонных клише с весьма расплывчатым содержанием.

Можно выделить три группы подобных клише. В первой группе с разными вариациями просто констатируется сам факт использования статистических методов. Доля этой группы, по отношению ко всем работам содержащим описания, составляет примерно 45%. Для нее характерны следующие описания: 

Пожалуй, наиболее необычное описание этого важного этапа исследования дано в статье «Варьирование активностей цистеиновых катепсинов почек и печени» (БЭБМ,  1995, №12, с.586-589): «Математическую обработку проводили обычным способом с использованием компьютера». Далее в статье авторы нигде не упоминают ни одного конкретного метода статистического анализа и статистического критерия, хотя и используют выражения p<0,05 и p<0,01.. Попытайтесь представить себе аналогичное описание лечения больного: «Лечение производилось обычным способом с использованием лекарственного препарата».

Для второй группы работ (примерно 30%) характерно указание на более конкретные детали:

Очевидно, что для читателя ссылка на определенную фамилию (Лакин, Урбах, Стрелков) ни о чем не говорит, поскольку в книгах данных авторов описано много разнообразных методов. Что сможет узнать врач, например, о методике лечения больных, если автор статьи или диссертации напишет: «Лечение больным назначалось по  Машковскому»? Делать подобную ссылку все равно, что утверждать наличие методики Машковского, только по той причине, что есть лекарственные справочники с такими именами.

Третья группа проанализированных работ (примерно 25%) содержит достаточно безграмотные, а подчас и просто абсурдные либо противоречивые сочетания перечисляемых терминов или критериев. В таких описаниях авторы часто вводят свою собственную терминологию, не раскрывая в тексте работы смысла используемых терминов. Вот типичный пример такого описания. { Жерлов Г.К., 1991}«Достоверность различия между средними арифметическими сравнениями вариационных рядов устанавливалась по степени вероятности положительной гипотезы в соответствии с описанием, приведенным в монографии Г.Ф. Лакина {4915}

Литература

Edited by Thomas A.Lang; Michelle Secic. How to report statistics in medicine: a guide for authors, editors and reviewers. 1997, American College of Physicians

Диссертация на соискание учёной степени доктора медицинских наук "Арефлюксные анастомозы при операциях на желудке (клинико-экспериментальное исследование)." Диссертант - Жерлов Г.К., специальность  14.00.27 - хирургия. Томский медицинский институт, Томск - 1991г.