Оригинальная статья "Вероятная ошибка среднего" Вильяма Госсета (Стьюдента),
предложившего t-критерий Стьюдента.
Опубликована в журнале BIOMETRIKA в 1908 году.

Доказательная или сомнительная?
Медицинская наука Кузбасса: статистические аспекты.

ВВЕДЕНИЕ

ДОКАЗАТЕЛЬНАЯ МЕДИЦИНА И СТАТИСТИКА.

КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ?

ПРОЦЕНТЫ – ПРИМИТИВНО? ЗАТО ДОСТУПНО!

СТАТИСТИЧЕСКАЯ ВАМПУКИЗАЦИЯ,  ОНА ЖЕ ВСЕОБЩАЯ СТЬЮДЕНТИЗАЦИЯ.

«ЛОШАДЕНДУС СВАЛЕНДУС С МОСТЕНДУС».

КАК ПРАВИЛЬНО: EXCEL ИЛИ EXEL, WINDOWS ИЛИ WINDOUS, MICROSOFT ИЛИ MIKROSOFT, STATISTICA ИЛИ STATISTIKA? 

ЗЕММЕЛЬВЕЙС И СТАТИСТИЧЕСКАЯ ТЕХНИКА БЕЗОПАСНОСТИ.

«ЗАЧЕМ НАМ КУЗНЕЦ? НАМ КУЗНЕЦ НЕ НУЖЕН».

ПРИМЕРЫ ХОРОШЕГО ОПИСАНИЯ.

КТО ВИНОВАТ?  ЧТО ДЕЛАТЬ?

ВМЕСТО ЗАКЛЮЧЕНИЯ.

Весь обзор одним файлом

Отклики читателей статьи "Доказательная или сомнительная?"

ПРОЦЕНТЫ – ПРИМИТИВНО? ЗАТО ДОСТУПНО!

Твердо стойте на своём нежелании

вникать в формулы алгебры.

В реальной жизни, уверяю вас,

никакой алгебры нет.

______________________

Фран Лебовиц

Я пламенно люблю астрономов, поэтов,

метафизиков, приват-доцентов, химиков

и других жрецов науки, к которым Вы себя

причисляете чрез свои умные факты и

отрасли наук, т. е. продукты и плоды.

__________

Письмо к учёному соседу

А.П. Чехов

Анализируя сотни медицинских публикаций, нельзя не остановиться на таком аспекте, как общий уровень использования методов точных наук для изучения собранных исследователем данных. В частности, это касается уровня использования статистических методов в анализе данных собранных исследователями в области медицины. При анализе публикаций кузбасских медиков мы обратили внимание на то, что очень большая доля этих публикаций содержала результаты достаточно примитивного подхода к анализу собранных данных. В первой группе отмечается в основном сравнение групповых средних, например, используя критерий Стьюдента. Вторая часть публикаций обычно содержит перечисление большого количества процентных соотношений. Подобные исследования обычно контрастируют с огромной работой по сбору первичной информации, заключающейся в обследовании сотен, а иногда и тысяч пациентов, со столь же объёмным конгломератом процентных соотношений, или групповых средних. Учитывая, что, как правило, в таких массивах данных собираются значения не 2-3 признаков, а гораздо больше, налицо игнорирование возможностей многомерного подхода к анализу собранных данных, в построении различных моделей изучаемых явлений. В чём отличие такого «плоского», процентного подхода к анализу таких данных от подхода многомерного? Аллегорически это можно сравнить с притчей про слепых и слона.  

Почему исследователь выбирает примитивизм, вместо следования современной парадигме научного исследования, как сложному, стадийному процессу коллективного творчества? Обратимся к этимологии термина «примитив», «примитивный», происходящим от латинского «primitivus»— «первый», «первоначальный» или «более ранний». Под «примитивом» обычно понимают творческую деятельность исследователя, не прошедшего глубокой профессиональной выучки. Такой исследователь использует тот инструментарий, который проще, «ближе лежит» и не требует для своего применения особого напряжения мысли. Применительно к нашему случаю, это, например, процент или критерий Стьюдента.

 В процессе развития исследователя, как и любой творческой личности, период примитивизма совпадает с периодом копирования, подражания наиболее популярным образцам. Например, если в статьях авторы часто используют проценты или критерий Стьюдента, то для подражания используется именно этот подход. Тем более, если этот метод, подход использует научный руководитель, или известный в регионе учёный, руководитель вуза, НИИ, факультета, кафедры, лидер направления и т.п. Нередко такой период «научного детства и отрочества» по своей длительности растягивается на всё время написания диссертации, и даже более. Иногда он обнаруживается и у руководителей организаций, которые в силу своей занятости обременительными руководящими обязанностями, уже не в состоянии поддерживать свой научный потенциал на современном уровне, и в силу этого довольствуются уровнем более примитивным. 

Отметим, что примитивный уровень не следует воспринимать априорно как уровень, на котором делают максимальное количество ошибок. Вовсе нет. Можно, пусть и примитивно, но верно, правильно, посчитать проценты, разделив одно число на другое, сообщить во сколько раз, предположим, заболеваемость в одной популяции больше (меньше) заболеваемости в другой популяции. Или вычесть из одного числа другое, и сообщить, на сколько одна заболеваемость больше (меньше) другой заболеваемости, и т.п. Гораздо больше, естественно, обнаруживается ошибок по мере усложнения используемого метода. Например, при использовании вместо процентов того же критерия Стьюдента.

Выбору этой парадигмы часто способствует тот факт, что примитивизм не только является начальной моделью творчества, но и коммуникативной моделью. Действительно, если использовать самый популярный инструмент анализа, к примеру, тот же критерий Стьюдента, то твои статьи будут понятны большинству, и в силу этого с ними будет меньше проблем. Их будут понимать как те, кому ты подражаешь,  так и те, кто подражает тем же самым эталонам. И результатом будет всеобщее понимание и признание. Лепота, одним словом… Тогда как использование достаточно сложного, малоизвестного коллегам статистического метода, требует от исследователя определённой смелости, напряжения сил и ума, готовности овладения основами этого метода, обсуждения и интерпретации полученных с его помощью результатов и т.д. И это притом, что вполне возможна ситуация, когда научный руководитель, не владеющий этими новациями, будет ревниво и критически оценивать эти усилия.  

Немаловажный аспект этого выбора заключается ещё и в минимальной трудоёмкости такого исследования. Не надо разбираться со сложными методами анализа, тратить время и силы на изучение специальной литературы, учиться их реализации в статистических пакетах, интерпретировать получаемые при этом результаты, общаться с профессионалами в области анализа данных, обнаруживая при этом ограниченность своих познаний в этой области и т.д. Кстати, последний аспект весьма важен, поскольку начинающий исследователь очень боится обнаружить собственное незнание на стыке  смежных областей. Ведь только настоящему профессионалу свойственно не стыдиться собственного незнания в каких-то смежных отраслях знания. Фактически весь этот комплекс мотивов и причин есть проявление менталитета «Здесь и Сейчас!».  

«Любое научное исследование направлено на установление неких устойчивых и преимущественно количественных связей между важнейшими параметрами изучаемой системы. Однако социальные системы в последнее время настолько быстро перестраиваются, что выявить какие-то долговременные связи в них становится всё сложнее. В связи с этим изучение системы ограничивается расследованием, которое направлено на уяснение основных моментов в текущем функционировании системы и не претендует на серьезные обобщения. … Если примитивизм станет массовым явлением (а это уже происходит!), то это затормозит развитие интуитивных способностей людей. А это, в свою очередь, может спровоцировать возврат к сложным и не очень плодотворным исследованиям. Теоретически может установиться циклический режим, когда будут происходить постоянные колебания от парадигмы исследований к парадигме расследований и обратно.

На наш взгляд, такая опасность существует, и игнорировать её не имеет смысла. Здесь уместно остановиться на этимологических аспектах рассматриваемых понятий. Например, следует, вообще говоря, различать три такие категории, как изучение, исследование и расследование, которые и в английском языке имеют свои аналоги: study, research и investigation. Изучение (study) предполагает разбор уже существующего знания и овладение им. Исследование (research) направлено на проникновение вглубь изучаемого процесса (явления) и формирование на этой основе нового и, как правило, относительно универсального знания. Расследование же (investigation) направлено на поверхностное осмысление фактов и генерирование выводов, имеющих значение лишь в контексте данного момента и данных обстоятельств. Образно говоря, исследование – это проникновение «вглубь» явления, а расследование – это «скольжение» по его поверхности.

Непосредственным следствием указанных различий в исследовании и расследовании является то, что первое позволяет установить количественные связи и делать выводы на основе количественного анализа, а второе ориентировано на получение выводов качественного характера. Тем самым исследование предполагает всегда большую точность, чем расследование. Пожалуй, не будет ошибкой сказать, что расследование может служить основой и исходной точкой для исследования, но не наоборот. … Можно сказать, что исследование – это создание новой информации, в то время как расследование – это компиляция информации. Сдвиг в сторону расследований обусловлен ещё целым рядом обстоятельств. Рассмотрим некоторые из них. Первый фактор – более высокая трудоемкость исследований по сравнению с расследованиями. Как уже было сказано выше, исследования – это масштабная деятельность по переработке системной информации. Здесь требуется высокая квалификация, особые профессиональные навыки, большие усилия и значительное время на проведение расчётов и измерений. При расследовании всё делается гораздо быстрее и проще». (Е. Балацкий. Смена научно-поисковой парадигмы: расследования vs исследования. )

 Достаточно часто подобный примитивизм проявляется в публикациях изобилием процентных соотношений, без всяких попыток проверить статистические гипотезы о равенстве (неравенстве) этих отношений, установить хоть какие-то парные или множественные связи, их ранжирования по степени важности, зависимости, выражения для этих зависимостей и т.п. Фактически все возможности современной статистики низводятся до простейших операций деления и представления неких частотных соотношений в виде процентов. Типичным примером такой публикации является статья Руденко Н.В., Задираченко Л.Н. Изучение потребительского поведения в аптеках г. Тюмени. Тюменская государственная медицинская академия, г. Тюмень. Медицина в Кузбассе. Спецвыпуск № 7, 2009, стр.  110-112.

Те, кто прочитает эту статью, обратят внимание на то, что весь анализ этого фактически социологического исследования заключается в вычислении процентных соотношений опрашиваемых, давших тот или иной ответ на поставленные им вопросы.

 Информация о взаимосвязи между различными вариантами ответов на разные вопросы остаётся за бортом, как и информация о взаимосвязи между вариантами ответов на разные вопросы. Т.е. здесь мы видим «плоский», одномерный  подход к анализу собранных данных. Тогда как для таких данных весьма результативны многомерные методы статистики, например, лог-линейный анализ, логистическая регрессия, анализ соответствий, кластерный анализ и т.д. Разумеется, это сложнее, чем разделив одно число на другое получить процентное соотношение.

Для реализации этих методов необходимо не только знание теоретических основ этих методов, но и достаточный опыт интерпретации получаемых при этом результатов. Из чего следует, что реализацией подобных сложных методов должен заниматься профессиональный биостатистик, а не медик. В чём привлекательность использования подобных многомерных методов к таким массивам данных? В том, что результаты их использования позволяют выбрать наиболее адекватные модели поведения покупателей, используя которые возможно наиболее полно удовлетворять их запросы. Кроме того, в подобных моделях можно проранжировать изучаемые признаки по степени их информативности, при описании этого поведения.  

Такой многомерный подход ни в коей мере не умаляет роль и значимость самих медиков. Ни один статистик не сможет без участия медика квалифицированно и полноценно интерпретировать полученные результаты анализа. Именно такой симбиоз может породить новое знание, которое далее возможно использовать для регулирования и управления изучаемыми процессами. Автору этих строк неоднократно доводилось непосредственно участвовать в анализе фармэкономических данных по нескольким крупным городам и областям. И эта творческая работа в содружестве с медиками была полезна обеим сторонам.

Если внимательно проанализировать подобные статьи журналов «Мать и Дитя в Кузбассе», «Медицина в Кузбассе» и «Политравма», то можно заметить, что достаточно часто их авторами являются работники не медицинских вузов или НИИ, а сотрудники МЛПУ. Например, «Городская больница № …», «Медчанчасть ОАО ….», «Городская клиническая больница …», «Областная клиническая больница …» и т.д. И хотя известно, что в таких лечебных учреждениях работают, в том числе, и сотрудники с учёными степенями, но чаще всего такие публикации имеют не научную, а практическую направленность. И это очень хорошо, поскольку оба издания позиционируют себя как  НАУЧНО-ПРАКТИЧЕСКИЕ ЖУРНАЛЫ.

  Иногда такие публикации, имеющие явную практическую направленность, принадлежат сотрудникам кафедр вузов. Примером такой публикации является статья Балабановой Л.Г. «Роль дневного стационара в диспансеризации в рамках национального проекта «Здоровье». Медицина в Кузбассе. Спецвыпуск № 2,  2007, стр. 16. Кафедра поликлинической терапии и ОВП, Кемеровской государственной медицинской академии, г. Кемерово. Научный руководитель – асс. Мозес К.Б. 

Иногда же трудно определить направленность статьи как научную, либо как практическую. Вот пример такой публикации.  Борисенко К.С., Вахрушева М.Н., Соколова Е.И. Влияние нейроиммуномодудятора тенотен на кратковременную память у студентов. Кафедра неврологии, нейрохирургии и медицинской генетики Кемеровской государственной медицинской академии, г. Кемерово.  Научный руководитель – д.м.н. Семенов В.А. Медицина в Кузбассе. Спецвыпуск № 2,  2007, стр. 29.

   Всё сообщение содержит 200 слов, без достаточного описания методики проверки памяти, нет контрольной группы, нет сравнения результатов, нет оценки статистической значимости описываемого эффекта и т.д. Т.е. это краткое сообщение об интересном эффекте, исследование которого имеет смысл продолжить более углублённо. Возникает вопрос: как классифицировать такое сообщение? Как научное, или же, как практическое? Или нечто иное? Вопрос этот далеко не праздный и для многих других столь же кратких публикаций. Между тем в публикации сообщается о научном руководителе, докторе медицинских наук. А в итоге сформулированный авторами вывод остался неподкреплённым результатами несложного статистического анализа.

    Ещё один пример контраста большого объёма собранной информации и «процентного» его анализа. Статья «Тиреоидный статус жительниц промышленного города при сочетанном действии техногенных и природных факторов». Авторы: С.М. Брызгалина, д.м.н., профессор, зав. кафедрой  эндокринологии Новокузнецкого государственного института усовершенствования врачей, Е.М. Шимотюк, Е.П. Каширина, Т.П. Маклакова.  Новокузнецкий государственный институт усовершенствования врачей, г. Новокузнецк. Медицина в Кузбассе. №2, 2004,  стр.23-27. Цитируем: «Обследовано 6913 женщин, которые составили 4 группы». Надо полагать, что при обследовании столь большого массива пациентов фиксировались не только ФИО, но и другие важные показатели. О некоторых из них в статье упоминается, опять в виде процентных соотношений, число которых в статье составляет несколько десятков. На стр. 25 читаем:

«Корреляция узловых форм и уровня техногенного загрязнения, согласно критерию хи-квадрат, для алюминиевого завода составляет 4,3 (p < 0,001); для ферросплавного – 5,1 (p < 0,001).» Уместно поинтересоваться у авторов статьи, в каких единицах они оценивали «корреляцию узловых форм и уровня загрязнений»? Как известно, коэффициенты корреляции по модулю не превышают 1. А здесь мы имеем дело с величинами 4,3 и 5,1!

На той же стр. 25 читаем: «… размер заба 2-5 см …». Опечатка? Наверное, не «заба» а «зоба»? Видимо. Но корректора в журнале нет, а редколлегия и рецензенты не обязаны читать весь текст… Как видим, статистическая неряшливость в данном случае также сопровождается и ошибками правописания. 

Аккерт Е.М., Бушмакина О.А. Гигиенические знания по уходу за полостью рта у студентов разных высших учебных заведений г. Кемерово.  Кафедра детской стоматологии Кемеровской государственной медицинской академии, г. Кемерово. Научный руководитель – д-р мед. наук, проф. Г.Ф. Киселев.  Проблемы медицины и биологии: мат. Межрег. науч.-практ. конф. молодых ученых и студентов, посвященной 55-летию КемГМА (Кемерово, 15–16 апр. 2010 г.) / Под общ. ред. В. И. Подолужного; отв. ред. Д. Ю. Кувшинов. – Кемерово: КемГМА, 2010. – 242 с. Цитируем: «Проанкетировано 514 человек обоего пола (18–24 лет), обучающихся в различных Высших учебных заведениях г. Кемерово. … Полученные результаты статистически обработаны. …

Отмечено, что около 63 % студенческого населения пользуются зубными щетками средней жесткости, 12,2 % – мягкими зубными щетками, 12,2 % покупают зубные щетки случайно и не знают степень ее жесткости, 10,2 % студентов используют жесткие зубные щетки, 2,2 % – очень жесткие, а 0,2 % студентов предпочитают очень мягкие зубные щетки.»  И далее в тексте приводится много аналогичных процентных отношений. Вот и вся статистика. С полным основанием утверждение «Полученные результаты статистически обработаны» можно заменить утверждением «Полученные результаты арифметически обработаны». Ведь процентные отношения изучаются в школе в рамках арифметики.

Статистический примитивизм в медицинской науке имеет давнюю природу. Своими корнями он восходит ещё ко временам Лысенко, когда ВАК СССР отказывал медикам в присуждении учёных степеней за использование статистики. (См. нашу статью «Долгое прощание с лысенковщиной», раздел «Статистика в опале»  http://www.biometrica-tomsk.ru/lis/index10.htm ) Одним из результатов этого стало отсутствие в современных медицинских вузах и исследовательских центрах лабораторий биостатистики.  За рубежом первые лаборатории биостатистики начали создавать более 100 лет назад. В результате этого современный медик вынужден заниматься «не царским делом», самостоятельно погружаться в дебри математической статистики, пытаться самостоятельно овладевать статистическими пакетами и т.п. Читатель, вам ничего это не напоминает? Это ведь не что иное, как копия самолечения у пациентов. Приобретя справочник Машковского или Видаля, больной начинает пичкать себя коктейлем из всех доступных ему лекарств. Такое самолечение в обоих случаях неизбежно приводит к печальным результатам…

  Отметим, что «любовь к процентам» и игнорирование более сложных современных многомерных методов анализа огромных массивов собранных данных, присуща не только представителям медицинской науки Кузбасса. Страдают этим и социологи Кузбасса. ( см. http://www.biometrica-tomsk.ru/kuz_ciom_1.htm и  http://www.biometrica-tomsk.ru/kuz_ciom_2.htm )

   Примитивизм, как стиль в медицинских исследованиях, опасен тем, что фактически он стимулирует неэффективные исследования, создавая при этом большим количеством поверхностных публикаций видимость получения значительного объёма информации. Известный российский политический деятель конца 19-начала 20 века говорил о том, что, в конечном счёте, эффективность и стабильность социального строя определяется производительностью труда. «Производительность труда в ряде российских отраслей ниже американских и европейских показателей в десятки раз….»  (http://www.equipnet.ru/analytics/other/other_377.html )

  Одна из основных причин этого – низкий уровень организации и квалификации работников. И медицинская наука в этой части, как отрасль производства нового ресурса – Знания, не исключение. А поскольку медицина по своей сути есть наука экспериментальная, то отсутствие в медицинских вузах и НИИ статистического сервиса определяют низкую производительность, и соответствующий уровень отечественной медицинской науки и практики. Что, в свою очередь, и является одной из причин высокой смертности в России.

Далее:  СТАТИСТИЧЕСКАЯ ВАМПУКИЗАЦИЯ,  ОНА ЖЕ ВСЕОБЩАЯ СТЬЮДЕНТИЗАЦИЯ.