Долгое прощание с лысенковщиной 

Камуфляжные мемы

Отметим, что камуфляжный характер описания статистических методов встречается не так уж редко, и, как правило, в диссертациях. Рассмотрим пример, показывающий рекомбинацию ранее встречавшихся нам мемов с другими мемами. На стр. 41 кандидатской диссертации №13 - Клинико-диагностические критерии нарушений сердечно-сосудистой системы у детей с тимомегалией.). Канд. дисс., 14.00.09 – педиатрия, 1996г. дано следующее описание. "Статистический анализ проводился на основе банка данных, доступ к которому реализовывался через пакет программ STATGRAPHICS в которой (так в тексте – В.Л.) использовались вариационный, корреляционный, регрессивный и дискриминантный методы, помимо средних значений расчитывались (так в тексте – В.Л.) величины дисперсий первого и второго порядка, определялась погрешность и достоверность, оценка параметров проводилась по Т-критерию Стьюдента". С предыдущей работой эту диссертацию роднит не только близость научного направления и объекта исследования, но и наличие мема "на основе банка данных, доступ к которому реализовывался через пакет программ". Имеется здесь и часть других мемов, в частности упоминание "вариационного" и "регрессивного" анализа. Если под "регрессивным" анализом автор видимо подразумевала регрессионный анализ, то, что такое "вариационный анализ", можно только гадать. Упоминание о таинственном "вариационном анализе" можно встретить и в других публикациях, например, на стр. 42 диссертации №14 - Иммуно-патохимические особенности течения респираторных аллергозов у детей. Канд. дисс., 14.00.09 – педиатрия, 14.00.36 – аллергология и иммунология, 1997г.

Следующее ядро мема – "дисперсии первого и второго порядка". Наиболее вероятной гипотезой появления этого мема является рекомбинация определения термина дисперсия и определений начальных и центральных моментов. Как известно, начальный момент первого порядка есть не что иное, как математическое ожидание, а центральный момент второго порядка и есть дисперсия [103, с.92-99]. Судя по приведенному выше описанию, автором "определялась погрешность и достоверность". Видимо полагая, что эти определяемые величины не требуют дополнительного комментария, автор не поясняет ни смысл этих величин, ни методику их определения. Не меньше вопросов вызывает и то, как "оценка параметров проводилась по Т-критерию Стьюдента".  В частности, из этого отрывка совершенно непонятно, оценка каких именно параметров проводилась автором с помощью Т-критерия Стьюдента. Ответов на эти вопросы в тексте диссертации нет, как нет и описания того, с помощью каких статистических критериев проводились проверки многочисленных гипотез, после чего появлялись выражения p < 0,05 . Нет там и результатов "регрессивного" и дискриминантного анализа.

Анализ многочисленных биомедицинских диссертаций обнаруживает два вида камуфляжных мемов. В первом случае автор декларирует в описании те или иные статистические методы или критерии, использованные им в исследовании. Однако далее в тексте не приводит никакой информации ассоциирующейся с результатами применения этих методов. В качестве типичного случая камуфляжного мема первого типа можно привести описание из кандидатской диссертации "Арефлюксные гастротома и еюностома (Экспериментально-клиническое исследование)", 14.00.27 – хирургия, 1996г. На стр. 38 имеется следующее описание: "Фактические данные обработаны методами математической статистики для малых выборок на ЭВМ:

Однако во всем дальнейшем тексте диссертации нет даже малейших намеков на результаты применения этих методов математической статистики. Нет ни привычных выражений M ± m и p < 0,05, отсутствуют сами проверяемые "гипотизы" и обсуждение результатов их проверки, отсутствуют результаты обработки фактических данных методами математической статистики и в "Заключении" и в "Выводах".

Камуфляжный характер таких меметических описаний виден читателю не сразу. Иногда заметить это под силу только подготовленному специалисту, имеющему как определенный запас знаний по статистике, так и самостоятельный опыт статистического анализа биомедицинских данных. В качестве примера такого мема дадим следующее описание. "Нормальность распределения результатов во всех сформированных группах определяли путем подсчета асимметрии и эксцесса выборки. Для сравнения групповых средних и вариаций использовали параметрический t-критерий Стьюдента. Для оценки линейной стохастической связи между показателями флуоресцентных зондов и процентным содержанием морфологических форм эритроцитов в исследуемых группах использовали линейный корреляционный анализ." - стр. 46 диссертации "Характеристика состояния мембраны эритроцитов периферической крови у детей в норме, с инсулинзависимым сахарным диабетом и острой пневмонией", 14.00.17 – нормальная физиология, 14.00.16 – пат. физиология, 1998г.

Казалось бы это вполне респектабельное описание, содержащее и упоминание о проверке на нормальность распределения, и о критерии Стьюдента, и о корреляционном анализе. Начнем с проверки нормальности распределения. Действительно, как один из самых простейших методов приближенной проверки нормальности распределения исследуемой непрерывной переменной в статистике используется оценка с помощью вычисления коэффициентов асимметрии и эксцесса [79, 103]. Однако автор не дает ни ссылки на литературный источник с описанием этого метода, не описывает детали того, каким образом производился подсчет этих показателей. Нет и описания того правила, по которому принималось решение о признании распределения нормальным, или же нормальность распределения отвергалась.

Обращает на себя внимание полное отсутствие в диссертации любой информации о результатах как вычислений асимметрии и эксцесса, так и о результатах проверки нормальности распределения по этим показателям. Весьма маловероятно, чтобы все исследуемые характеристики состояния мембран эритроцитов во всех группах подчинялись нормальному распределению. Настораживает и отсутствие даже упоминания дальнейших действий в случае появления распределения, не подчиняющегося нормальному закону. В следующем предложении автор говорит о сравнении не только групповых средних, но и вариаций. И здесь автор тоже не идет дальше самого термина, не раскрывая ни его суть, ни технологию сравнения этих самых вариаций.

Если предположить, что под вариациями автор понимает внутригрупповые дисперсии, то в этом случае для проверки их равенства используется не t-критерий Стьюдента, а другие критерии, например критерии Фишера, Кохрэна и Бартлетта. Опять же, далее в тексте автор ничего не говорит о результатах таких проверок, равны ли были групповые вариации, или же они были неравными, остается загадкой. Кстати, проведенная нами проверка нескольких сот выражений "M+m" с "p < 0,05" приведенных в диссертациях и статьях, где для проверки гипотезы о равенстве средних применяли t-критерий Стьюдента, показала, что примерно в 75% случаев дисперсии двух совокупностей оказываются неравными. Это означает, что t-критерий Стьюдента применять нельзя.

Наконец, неизвестно и то, какой же именно коэффициент корреляции использовал автор: Пирсона или Спирмена, парный или частный. Таким образом, результаты проведенного нами анализа этого описания позволяют высказать весьма вероятное предположение о том, что оно является мемом, синтезированным из нескольких отдельных элементов.

Противоположный тип камуфляжных мемов состоит из описания некоторых полученных в исследовании статистических результатов, при том, что эти использованные методы и критерии нигде в диссертации ранее не описаны. Типичная диссертация, в изобилии содержащая такие мемы, "Влияние закаливания на состояние адаптационно-защитных механизмов у часто болеющих детей дошкольного возраста" , 14.00.09 – педиатрия, 1991г. В данной работе приведено несколько сот выражений типа "M ± m" и "p < 0,05", или "p > 0,05". В самом тексте работы и в "Заключении" многократно встречаются выражения следующего вида: "Исследования исходного уровня клеточного иммунитета зафиксировало статистически достоверное (Р < 0,01) уменьшение абсолютного и относительного содержания Т-лимфоцитов у ЧБД" (стр. 115); "Динамическое наблюдение позволило установить, что статистически достоверное изменение в иммунном статусе под влиянием закаливающих процедур произошли в срок от полутора до трех месяцев" (стр. 117); "Таким образом, статистически достоверные динамические изменения в иммунном статусе у ЧБД, занимающихся закаливанием, выявлены в срок от полутора до трех месяцев от начала закаливания" (стр. 118). Однако в главе, посвященной использованным диссертантом методам и методикам, ничего не говорится о тех статистических методах и критериях, с помощью которых были получены декларируемые автором достоверные уменьшения и изменения. В таких случаях диссертационный совет, эксперты ВАК РФ и специалисты, желающие познакомиться с результатами диссертанта, могут оценивать достоверность этих результатов не с помощью квалифицированного описания этапа анализа данных, а только основываясь на собственном впечатлении о том, насколько выводы диссертанта совпадают или противоречат основным концепциям и положениям данного научного направления на текущий момент времени.

Точно также отсутствуют всяческие описания использованных статистических методов и в докторской диссертации "Влияние возраста на динамику и соотношение различных механизмов энергетического обеспечения гомеостаза в процессе мышечной деятельности", 14.00.17 – нормальная физиология, 1991г. Между тем, работа полностью базируется на экспериментальных результатах. В тексте диссертации есть много выражений, оперирующих понятиями "достоверность" и "недостоверность". Приведем некоторые из них. "Так если у старых животных оно достоверно увеличивалось с исходных 5,05± 0,55 до 7,29± 0,29 г% (P < 0,001) уже в первую минуту бега, то у взрослых подъем с фоновых 6,36± 0,14 до 6,90± 0,19 г% становится достоверным лишь на 10 минуте бега" - стр. 88. "Результаты наших исследований (Рис.10) показали, что содержание мочевины в артериальной крови при беге на тредбане повышается как у взрослых, так и у старых собак. Но у взрослых при более высоком исходном уровне ее прирост к фоновым значениям во время бега недостоверен. Достоверность появляется лишь в конце изучаемого восстановительного периода, спустя 50-80 минут после работы. У старых собак достоверный рост содержания мочевины в артериальной крови наступает уже в первую минуту бега, сохраняется до его окончания и в течение всего исследуемого восстановительного периода. Достоверность этой закономерности подтверждается данными о динамике содержания в артериальной крови аммиака (Рис.11)" - стр. 90. "Достоверность такого рода данных, очевидно очень низка…" - стр. 113. Вопрос о том, какими именно методами автор проверял достоверность своих утверждений, важен еще и потому, что в тексте есть много таких результатов, которые без подробного объяснения этих методов нельзя адекватно понять и оценить. Так, на 124 графиках приведенных в диссертации обозначены положительные и отрицательные отклонения от линии графика. Какой смысл имеют эти отклонения, нигде не расшифровывается. Являются ли эти отрезки доверительным интервалом, или же они изображают величину ошибки среднего в данной точке графика, нигде не уточняется. Между тем, это имеет принципиальное значение. Для подтверждения важности подробного описания этих деталей приводимых в работе результатов анализа рассмотрим еще одно предложение. "Если учесть многочисленные литературные данные последних лет, указывающие, что колебания максимального потребления кислорода лежат в пределах 36,0± 5,1 - 66± 5,0 мл/кг/мин или 3,35 ± , что физиологической нормой энергозатрат при профессиональном труде являются 3,33± 0,5 ккал/мин, что бег со скоростью 9-12 км/час сопровождается энергозатратами 9-12 ккал/мин, то моделируемая в наших опытах негрузка в виде бега 11 и 12 км/час, притекающий с потреблением кислорода около 40 мл/кг/мин и частоте сердцебиений 160-180 в минуту, являются нагрузкой, приближающейся к тяжелой." - стр. 49. Обратим наше внимание на выделенное нами выражение 4,27 л/мин 3,35 ± 4,27 л/мин. Какой смысл имеет это сочетание? Если это наиболее часто используемое выражение M ± m, где М – среднее, а m – ошибка среднего, то в этом случае получается что ошибка среднего превосходит саму величину среднего. А в таком случае это прямое указание на то, что в выборке, по элементам которой и вычислены М и m, есть и немало и отрицательных значений исследуемой переменной. Но по своему смыслу эта переменная - потребление кислорода, не может принимать отрицательных значений. Итак, какой же смысл имеет выражение 3,35 ± 4,27 л/мин?

Для большинства проанализированных работ наблюдалось влияние принадлежности авторов исследований к той или иной научной школе на уровень описания использованных в работе статистических методов. Как правило, работы по близкой тематике имели и практически идентичный набор использованных методов. Для примера приведем описания из кандидатской и докторской диссертаций на близкие темы. "Все полученные данные обрабатывались на ЭВМ "Kontron" и "Casio FX-790 P" методом вариационной статистики с вычислением среднего арифметической "Х", средней ошибки средней арифметической "m" и среднего квадратичного отклонения "?". Сравнение средних значений показателей производилось с использованием критерия Стьюдента, вычисляемого по формуле: (M₁² – M₂² )/(m₁² + m₂²). Доверительную вероятность "Р" определяли, исходя из рассчитанного значения t. Различие двух сравниваемых рядов считали достоверным, если вероятность их тождества P < 0,05. В тех случаях, когда распределение вариант внутри сравниваемых выборок отличалось от нормального, величину Р определяли с помощью непараметрического критерия Уилкоксона-Манна-Уитни" - стр. 57 кандидатской диссертации "Роль гемопоэзининдуцирующего микроокружения в регуляции кроветворения при гемодепрессии, вызванной введением адриамицина", 14.00.16 – пат. физиология, 14.00.25 – фармакология, 1990г. Обратим внимание читателей на отсутствие квадратного корня в знаменателе дроби, тогда как для t-критерия Стьюдента в этой формуле здесь должен быть знак квадратного корня. Как видно из этого описания, автор ограничился вычислением среднего М, средней ошибки среднего m и среднего квадратичного отклонения ?. Для проверки же гипотез о равенстве групповых генеральных средних использовались критерии Стьюдента и Уилкоксона-Манна-Уитни. Однако ни слова автор не упомянул о том, а какими же методами и критериями проверялась нормальность распределений внутри групп. Неясен и смысл фразы "Различие двух сравниваемых рядов считали достоверным, если вероятность их тождества P < 0,05", из которой следует, что в том случае, когда "вероятность их тождества" была больше 0,05, например 0,10 , то различие двух сравниваемых рядов считалось недостоверным, но тогда это означает принятие противоположной гипотезы о равенстве сравниваемых рядов. В тексте самой работы 24 таблицы содержащих несколько сот выражений типа "M ± m" и "р < 0,05" или "р> 0,05". Однако нигде нет указаний на то, каким критерием проверялась та или иная гипотеза, и каков был результат проверки нормальности распределения.

Обратимся теперь к докторской диссертации "Роль гемопоэзининдуцирующего микроокружения в регуляции кроветворения при действии на организм миелоингибирующих факторов", 14.00.16 – пат. физиология, 1994г. На стр. 82 приведено следующее описания использованных статистических методов. "Полученные данные подвергали статистической обработке, используя методы вариационной статистики. При этом вычисляли среднюю арифметическую "Х" и среднюю ошибку среднего значения "m" в каждой группе. Проверку достоверности различий оценивали доверительным интервалом при Р=0,05".

Итак, в этой работе автор использует уже несколько методов вариационной статистики, отказавшись от проверки нормальности распределения и применения критерия Уилкоксона-Манна-Уитни и ограничили с помощью t-критерия Стьюдента (Лакин Г.Ф., 1973). Результаты исследования были обработаны на персональном компьютере IBM PC AT с использованием соответствующих программ. В таблицах приведены средние значения Х и средние ошибки величины (Х+m), на графиках – величины, ограничившись одним критерием Стьюдента. Только почему то с его помощью оценивали уже не лостоверность различий (видимо групповых средних), а оценивали "Проверку". Интересно, как можно оценить "Проверку"?

И каков смысл использования доверительного интервала при доверительной вероятности Р=0,05? Сменился и тип компьютера, появилась ссылка на "соответствующие программы", неясно только какие. Но особо принципиальных различий в наборе методов как в одной, так и в другой диссертации не наблюдается. Фактически весь набор статистического инструментария сведен к вычислению простейших выборочных статистик и сравнению групповых средних. Также во второй работе, как и в первой, приведено несколько десятков (56) таблиц с выражениями "M ± m" и "р < 0,05". Отметим, что кроме схожести названий этих работ, их объединяет и то, что оба научных руководителя кандидатской диссертации являлись научными консультантами в докторской диссертации.