Долгое прощание с лысенковщиной 

Типология описания использованных методов

Оставшаяся часть работ содержит в той или иной форме описание использованных методов статистики. В большинстве таких работ методы статистики упоминаются в разделе (главе) "Материал и методы". В большинстве проанализированных работ описание статистических методов и критериев дается в форме шаблонных клише с весьма расплывчатым содержанием.

Можно выделить три группы подобных клише. В первой группе с разными вариациями просто констатируется сам факт использования статистических методов. Доля этой группы, по отношению ко всем работам содержащим описания, составляет примерно 45%. Для нее характерны следующие описания:

1. Результаты обработаны статистически.

2. Обработку данных проводили статистическими методами.

3. Результаты обработаны методом (методами) вариационной статистики (варианты: стандартными программами, общепринятыми методами и т.п.).

4. Результаты подвергнуты статистической обработке.

Приведем наиболее типичные образцы подобных описаний: "Полученные данные обработаны статистически" ("Вестник РАМН", 1995г., №2, стр.18), "Результаты опытов обработаны статистически общепринятым способом, различие считали при уровне вероятности не менее 95%" (БЭБМ, 1997, вып.8, стр.179), "Количественные данные статистически обрабатывали" (БЭБМ, 1997, вып.9, стр.320), "Полученные данные подвергнуты статистическому анализу" (стр.36 диссертации "Лечение больных инфарктом миокарда в фазу рековалесценции аминазин-электрофорезом", 1992 г.).

Такие же скромно-лаконичные описания мы обнаружили и во многих других диссертациях и монографиях. Изобилуют подобными вербальными орнаментами и многие журнальные статьи. Что подразумевают авторы под стандартными и общепринятыми методами и стандартными программами, читатель может лишь догадываться. Попытайтесь представить аналогичное описание методики лечения: "Больных лечили стандартным (общепринятым) способом...", не упоминая при этом сам стандарт.

Пожалуй, наиболее необычное описание этого важного этапа своего исследования дано в статье "Варьирование активностей цистеиновых катепсинов почек и печени" ("БЭБМ" 1995, №12, стр.586-589): "Математическую обработку проводили обычным способом с использованием компьютера".  Далее в статье авторы нигде не упоминают ни одного конкретного метода статистического анализа и статистического критерия, хотя и используют выражения p<0,05 и 0,01. Если часть авторов удовлетворяется только одним методом вариационной статистики, то другие используют уже методы (несколько).

Например, в статье "Использование эссенциальных фосфолипидов в лечении больных ишемической болезнью сердца и инсулиннезависимым сахарным диабетом" (Кардиология, 1996, N1, стр. 30-33) все описание использованных авторами статистических методов свелось всего лишь к одной фразе (стр.31): "Полученные данные обрабатывали на ЭВМ методами многомерной статистики". Однако далее в тексте авторы видимо забыли об этой фразе и нигде не приводят абсолютно никаких даже намеков на эти самые "многомерные методы". Нет ни только названий этих таинственных методов, но нет и обсуждения результатов их применения. (А был ли мальчик? - В.Л.)

Для второй группы работ (примерно 30%) характерно наличие указаний на более конкретные детали: 1) фамилия автора пособия по статистике; 2) статистический критерий; 3) один или два статистических параметра; 4) тип ЭВМ, персонального компьютера или название пакета программ:

1. Материал обрабатывали статистически по методу Лакина (варианты: по В.Ю.Урбаху; по таблицам Стрелкова).

2. Достоверность значений определяли по t-критерию Стьюдента (варианты: по среднеквадратичному отклонению усредненных значений параметров; методом определения среднего квадратического отклонения от средней величины.

3. Статистическая обработка материала произведена с использованием мини-ЭВМ "Искра-1256" (варианты: IBM PC, IBM PC XT (AT, 386 SX/ 486 и т.п.) по стандартным программам.

Очевидно, что для читателя ссылка на определенную фамилию (Лакин, Урбах, Стрелков) ни о чем не говорит, поскольку в книгах данных авторов описано много разнообразных методов. Что сможет узнать врач, например, о методике лечения больных, если автор статьи или диссертации напишет: "Лечение больным назначалось по Машковскому и Видалю..."? Делать подобную ссылку всё равно, что утверждать наличие методики Машковского или Видаля, только по той причине, что есть лекарственные справочники с такими именами..

Примерно в половине работ, в которых упоминаются конкретные критерии или фамилии (t-Стьюдента, Лакин, Урбах, Стрелков, Каминский, Венчиков, Генес и т.д.) даются ссылки на литературу. В другой же половине работ никаких ссылок не приводится. В случае применения достаточно популярных статистических критериев, например t-критерия Стьюдента, отсутствие подобной ссылки менее критично. Однако когда автор использует менее популярные методы или критерии, такую практику вряд ли можно считать приемлемой.

В некоторых работах авторы просто отмечают сам факт использования вычислительной техники, не конкретизируя ее наименование. Так, например, на 61 стр. диссертации "Оценка динамики развития эффективности лечения и влияние очага некроза на гемодинамику у больных инфарктом миокарда" (1987г.) читаем, что "статистическая обработка проводилась разностным методом, Ойвин И.Н., 1960", однако в списке цитируемой литературы такой автор отсутствует. Поэтому, что это за разностный метод Ойвина, можно только строить предположения.

Во многих диссертациях и статьях дается конкретное наименование используемых средств вычислительной техники. Упоминание типа компьютера вероятно, по мнению авторов, должно поднять в глазах читателей значимость и доверие к полученным выводам, особенно если результаты работы получены с помощью зарубежного компьютера. В более ранних работах упоминаются программируемые микрокалькуляторы, подобно тому, как это сделано на стр.43 диссертации "Желчеотделительная функция печени при аппликациях сапропеля в эксперименте" (1992г.): "Результаты исследований обрабатывали статистически с применением программируемого микрокалькулятора МК-54."

Впрочем, подобные упоминания можно встретить и в относительно свежих работах: "Все полученные цифровые данные подвергались вариационно-статистической обработке на программируемом микрокалькуляторе "Электроника МК 52", используя критерии достоверности по Стьюденту"(стр.56 диссертации "Соматические и психовегетативные соотношения у больных описторхозом", 1995г.).

Достаточно многие авторы выполняли этап статистического анализа, используя такие популярные в свое время средства вычислительной техники, как ЭВМ СМ-4 и мини-ЭВМ "Искра-1256": "Математическая обработка результатов производилась методами вариационной статистики на ЭВМ СМ-4" (стр.42 диссертации "Парамагнитные центры и свободнорадикальное окисление липидов при артериальной гипертонии у строителей БАМ", 1987 г.).

В работах же последних лет все чаще упоминаются персональные компьютеры IBM PC, например:"Полученные результаты обработаны статистически с использованием персонального компьютера IBM PC XT" (стр.50 диссертации "Клинико-конституциональные взаимосвязи при язвенной болезни желудка и двенадцатиперстной кишки", 1996 г.).

При упоминании в данных разделах работ персональных компьютеров авторы чаще всего и ограничивают этим фактом описание методики статистического анализа собственных экспериментальных наблюдений. Вот пример подобного описания: "Полученные результаты обрабатывались статистическими методами вариационной статистики с использованием персонального компьютера типа IBM PC 286" (стр.53 диссертации "Функциональная характеристика эпителиально-гладкомышечных взаимодействий в стенке воздухоносных путей и кровеносных сосудов", 1995 г.).

Авторы подобных работ видимо полагают, что упоминание персонального компьютера является как бы "знаком качества" и тем самым гарантирует достоверность и надежность декларируемых ими статистических выводов. Позиция таких авторов отражает весьма опасный миф, бытующий среди медиков и биологов: "ЭВМ не ошибается", что звучит как "жена Цезаря вне подозрений". Авторы таких работ путают два понятия: надежность персональных компьютеров и их производительность с правильностью полученных на компьютере результатов анализа. А между тем это совершенно разные вещи, поскольку для получения верного результата должны быть выполнены многочисленные условия, которые автору не всегда известны, либо не всегда им проверяются. Отметим, что подобные описания чаще всего характерны для докторских диссертаций, нежели статей и кандидатских диссертаций.

Если часть авторов вполне удовлетворялась упоминанием только одного средства вычислительной техники - микрокалькулятора, ЕС ЭВМ или персонального компьютера, то другие авторы приводят целый список таких средств, нередко совмещая в нем несколько поколений ЭВМ. Вот как выглядит такой список на стр.78 диссертации "Общие закономерности восстановления и механизмы нарушений кровообращения в постреанимационном периоде",1989 г.: "Обработка проводилась на ЭВМ "Наири-2", ЭВМ ЕС-1022, с помощью микрокалькуляторов "Электроника Б3-18А", "Электроника Б3-21". По всей видимости автор счел, что перечисление не одной ЭВМ, а сразу четырех, усилит доверие к полученным им научным выводам.

Очевидно, что информация о типе ЭВМ является излишней и ее не имеет смысла приводить в диссертации или статье. Более же необходимым является достаточно полное упоминание о конкретных статистических методах, критериях, статистических пакетах программ и реализованных в них статистических процедурах. Хотя, применение хорошего пакета программ и не гарантирует правильность полученных при этом результатов, тем не менее, читатель может сопоставить результаты, приведенные в работе со своими собственными результатами, если те и другие были получены с применением одного и того же пакета программ или конкретной процедуры пакета.

Особенно это относится к тем случаям, когда используются развитые системы статистического анализа с собственным языком программирования, например пакет SAS. В таких случаях для понимания авторской логики статистического анализа данных необходимы уже не только наименования используемых процедур, например FACTOR или FASTCLUS, но и используемые в этих процедурах детализирующие их опции. Такие опции уточняют, например, алгоритм включения независимых, предикторных переменных в уравнение регрессии (пошаговый или принудительный), конкретизируют используемую метрику пространства и алгоритм объединения в кластерном анализе, указывают алгоритм вращения осей в факторном анализе и т.д.

Однако, в проанализированных работах указание конкретного типа статистической программы было примерно в 3% работ. Наиболее часто упоминаются пакеты STATGRAPHICS, CSS и SPSS. В последние годы стали появляться ссылки и на популярные электронные таблицы SuperCalc и Microsoft Excel.

Третья группа проанализированных работ (примерно 25%) содержит достаточно безграмотные, а подчас и просто абсурдные либо противоречивые сочетания перечисляемых терминов или критериев. В таких описаниях авторы часто вводят свою собственную терминологию, не раскрывая в тексте работы содержания и смысла используемых терминов. Либо же употребляют известные в статистике термины в иных, не раскрываемых ими значениях.Ниже мы приводим несколько таких выражений взятых в диссертациях и статьях.

1. Доверительный интервал рассчитан для 95% уровня значимости. (?)

2. Подсчёт среднего количества М ± m производили по методу Стьюдента.

3. Статистическую обработку данных осуществляли с помощью t-критерия Стьюдента при Р > 0,05. (?)

4. Статистическую обработку данных производили по методу Стьюдента с применением критерия c2 _. (?)

5. Достоверность различий между отдельными контингентами лиц определяли по критерию Фишера.

6. Результаты обрабатывали статистически с определением средней арифметической, стандартной ошибки и доверительного интервала при Р > 0,05. (?)

8. Корреляционный анализ проводили путем сравнения двух групп с помощью критерия t. (?)

Например, невозможно понять смысл выражений типа "Различия считали статистически достоверными при t < 0,05" ("Вестник РАМН", 1995г., №4, стр.14-16) или "Достоверными считали значения коэффициента корреляции, соответствующие 95% уровню значимости" ("Вестник РАМН" 1995г., №12, стр.29). Столь же бессмысленны и следующие фразы: "Достоверным считались отличия с уровнем доверительной вероятности P<0,05" (стр.35 диссертации "Роль поджелудочной железы в регуляции антитрипсиновой и трипсиновой активности крови" (1992г.);" ... на графиках - величины доверительных интервалов при Р=0,05 (стр. 82 диссертации "Роль гемопоэзининдуцирующего микроокружения в регуляции кроветворения при действии на организм миелоингибирующих факторов. Принципы фармакологической коррекции" (1994г.); "Достоверными считали различия с уровнем доверительной вероятности меньше 0,05" (стр. 49 диссертации "Роль трипсина в регуляции моторной функции тонкой кишки" (1992г.).

Подобный стиль описания наиболее характерен для публикаций журналов БЭБМ, "Кардиология" и "Вестник РАМН".  Когда в таких описаниях авторы перечисляют сразу несколько методов или критериев, далее в работе, как правило, при упоминании полученного статистического вывода, обычно приводится только выражение типа "р< 0,05" без указания использованного критерия.