Леонов В.П.

Международный журнал 
медицинской практики,
2007, вып. 2, стр.19-35.

В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности.

Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании. Установлено, что наиболее часто встречаются случаи ошибочного использования t-критерия Стьюдента, без необходимой проверки обязательных для этого условий. Наиболее часто подобные ошибки встречаются в публикациях журнала "Бюллетень экспериментальной биологии и медицины". 

Достаточно часто в российских публикациях приводятся описания некорректного применения многомерных статистических методов, таких как факторный и кластерный анализ. На основе анализа причин живучести таких ошибок в биомедицине, даны конкретные рекомендации по разрешению этой проблемы. Основным средством для этого является создание в медицинских исследовательских организациях лабораторий биостатистики.

Оглавление

Ошибка – это …

Ошибка или обман?

Обзоры ошибок применения статистики в медицине

Причины возникновения ошибок и меры борьбы с ними

Ошибки описания статистических методов

Меметический анализ описаний методов статистики

Локализация ошибочных описаний внутри научных школ

Мемы камуфляжных описаний

Смутно пишут о том, о чём смутно представляют

Коварный t-критерий Стьюдента

«… не зная законов языка ирокезского, можешь ли ты делать такое суждение  по  сему предмету…»

Что же делать, чтобы избежать ошибок?

Меметический анализ описаний методов статистики

Дьявол скрывается в деталях.

Концепции меметики {Розов, 1996}{Леонов, 2003 } позволяют описывать в терминах генетики размножение, распространение, отбор, мутации и рекомбинации, а также и смерть мемов - элементарных единиц, квантов культуры. Такими информационными квантами – мемами, могут выступать литературные клише и обороты, используемые авторами печатных работ, сформулированные идеи, лозунги, религиозные догмы, мода на тот или иной стереотип поведения, музыкальные мотивы и т.д.

Траекторию жизни мема можно представить по аналогии с траекторией распространения вируса, который может существовать только в клетке инфицированного носителя. Так и мем, может существовать только на определенных носителях. Такими носителями могут быть люди, пресса, книги, звуковые записи, видеозаписи, компьютерные файлы и т.д. Переносчиком мема является человек. При этом в процессе переноса мем легко может подвергаться перестройке, рекомбинации с другими мемами обитающими на данном носителе. Естественный отбор сохраняет в данном индивиде в основном те мемы, которые легко им запоминаются,  понимаются другими индивидами, приносят его носителю определенные дивиденды, и по этим причинам являются наиболее инфекционными. При этом меметика не занимается вопросами истинности или ложности переносимой в мемах информации.

Психологам хорошо известно, что большинству специалистов свойственно преувеличивать глубину познаний другого профессионала в некой сфере деятельности, если она отлична от его собственной сферы профессиональных интересов. Причем чем более удалены друг от друга эти сферы деятельности, тем сильнее это заблуждение. Чем выше уровень квалификации специалиста и чем критичнее его отношение в своей области знания, тем доверчивее и некритичнее его отношение к результатам иных сфер знания. Именно по этой причине исследователь более всего подвержен «инфицированию» мемами из этих пограничных либо удаленных сфер деятельности, и, соответственно, познание о них представлено в его сознании, поведении, речи и научных произведениях в форме подобных мемов. В частности, исследователи в области медицины предрасположены к «инфицированию» мемами из терминологии точных наук, и в первую очередь, статистики.

Попытаемся взглянуть на ошибки описания статистических методов с позиций меметики, выделяя и вычленяя при необходимости те или иные обороты, выражения, а нередко и отдельные предложения или группы предложений, как ментальные репликаторы – мемы. 

Приведенные выше клише, используемые как ошибочные описания статистических методов, являются типичными мемами. Часть таких мемов вполне адекватно описывает несложный статистический инструментарий, применяемый авторами. Однако подавляющее большинство меметических конструкций несут на себе отпечаток смысловой противоречивости и вербальной эклектичности. В такой смысловой инженерии медик уподобляется ребенку, которому в руки попал конструктор «Сделай сам» с набором отдельных элементов, но без руководства по сборке нужного изделия. По этой причине часто наблюдается смысловая удаленность содержания  выполненного анализа от его меметического описания. Нередко можно наблюдать «меметические цепочки» состоящие из дословно повторяющихся предложений следующих в ряду статей или диссертаций. В приведенной ниже таблице даны четыре авторских описания, относящиеся к определению достоверности различия. Три из них приведены в следующих диссертациях:

Четвертое же описание приведено в коллективной монографии {Зырянов, 1996}.

Те части мема, которыми наиболее отличаются данные описания, выделены жирным курсивом.

Как видим, эти четыре описания весьма похожи друг на друга. Менее всего отличаются между собой описания из диссертаций 2-3 и монографии {Зырянов, 1996}.

Обратим внимание на наличие в 4-х случаях субмема «показатель точности», причем в 3-х случаях он называется «абсолютным показателем точности».  Попытаемся выяснить, какой смысл могли вкладывать авторы этих работ в «показатель точности», используя для этой цели следующий мем, использованный в монографии {Зырянов, 1996} и диссертации 3 и приведенный в таблице ниже.

Авторы монографии {Зырянов, 1996} не приводят в этом меме объяснения величины (р). Можно предположить, что авторы подразумевают под величиной (р) уровень значимости, и тогда в последнем предложении использованного мема нет противоречия. Действительно, «при p < 0,05» мы имеем доверительную вероятность более 95% . Таким образом, вероятнее всего авторы монографии {Зырянов, 1996 64 /id} подразумевали уровень значимости. Совершенно бессмысленную конструкцию имеет этот мем в диссертации 3, где величина (р) определяется как «вероятность различия». В одном и том же предложении диссертант утверждает, что «Различие считалось достоверным при p < 0,05, т.е. в тех случаях, когда вероятность различия составляла больше 95%». Таким образом, мы имеем случай рекомбинации двух мемов, в результате которой новый мутантный мем приобрел искаженную и лишенную смысла форму.

Анализ мемов со сложной конструкцией не всегда позволяет достаточно надежно представить те понятия и их смысл, которые авторы пытаются описать с помощью рекомбинантных мемов. По своему языку такие описания нередко напоминают стиль известных произведений А. Платонова «Котлован» и «Чевенгур» и речь экс-премьера В.Черномырдина. Приведем одно из подобных описаний, содержащихся на с. 30 диссертации «Клиника и дифференциальная диагностика инфекционных экзантем у детей» и сделаем попытку его анализа. «Для определения значимости выборочных показателей, оценки сущности двух или нескольких показателей, а также определения связи между явлениями, полученных (так в тексте, выделено нами - В.Л.) в результате выборочных исследований, были использованы следующие формулы: ...». Итак, каков же смысл первого утверждения – «определение значимости выборочных показателей»?

Предположим, что по 50 наблюдениям получен выборочный показатель - среднее арифметическое значение систолического давления 90 мм рт ст. Что в таком случае понимать, согласно автору, под «значимостью выборочного показателя»? Как предлагает автор «оценить сущность двух или нескольких показателей», например того же среднего систолического и диастолического давления, содержания иммуноглобулинов, липопротеидов, холестерина и т.д., и какой смысл вкладывает диссертант в сам термин «сущность»? Не ясно и то, как собирается автор «определять связи между явлениями», поскольку ни в приводимых ниже формулах, ни в тексте диссертации об этом ничего не сказано. Продолжим авторский текст: «Пределы возможных колебаний (доверительные интервалы) средних величин, полученные в выборочном исследовании принимались равными удвоенной средней ошибке (+2m), что дает основание с вероятностью 95% отнести полученную закономерность ко всей генеральной совокупности».

В первой половине этого предложения автор пытается объяснить технологию построения им 95%-ных доверительных интервалов. Однако из его объяснения не ясно, какой смысл имеет величина (+2m).  Является ли это величина всей шириной 95%-ного доверительного интервала, либо же это полуширина, и тогда полная ширина доверительного интервала равна 4m? Итак, какой же доверительный интервал строит диссертант? Не меньше вопросов возникает и при изучении второй половины данного предложения, в которой речь идет о «полученной закономерности», поскольку ранее нигде автор ничего не говорит ни о видах закономерностей, ни о методах их оценки.

Литература