Статистика в кардиологии.
15 лет спустя.

И что такое "ПЛОХО"

Единственная настоящая ошибка
- не исправлять своих
прошлых ошибок.
________________
Конфуций

1. ПКК № 3,  2007. С. 7–14. Пятилетний опыт использования биологических протезов «КЕМКОР» в митральной позиции.

  В статье сообщается: «Для проведения статистической обработки полученных численных значений использовался программный пакет «STATISTICA 6.1 Data Miner», модули описательной статистики и Data Mining,  предоставленный компанией StatSoft Russia. Уровень значимости р принимали больше 0,05». 

Далее в разделе «Результаты» авторы пишут:  «Получены результаты прогнозирования вероятности развития тромботических осложнений в отдаленные сроки после изолированного протезирования митрального клапана биопротезом «КемКор» с применением статистической программы Data Mining [4]. Всего было изучено прогностическое значение 90 различных показателей (переменных)». 

Однако при этом авторы ничего не сообщают о том, какие конкретно методы Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных; см.  http://ru.wikipedia.org/wiki/Data_mining ) были ими использованы. В то же время в статье приводится порядка 100 процентных соотношений и выражений вида 50,14 ± 9,35. Складывается впечатление, что эти выражения и есть результаты использования множества интеллектуальных процедур Data Mining. Слева приведено изображение меню Data Mining, из которого видно, что таких процедур довольно много.

Отметим, что результаты использования этих процедур содержат весьма большое количество числовых параметров. Однако никаких конкретно числовых параметров, полученных с помощью этих процедур, авторы в своей статье не приводят.

Далее рассмотрим утверждение авторов «Уровень значимости р принимали больше 0,05». Подобное утверждение свидетельствует о том, что авторы статьи имели на момент публикации статьи весьма смутное представление о смысле такой величины, как «уровень значимости».  Обратимся к толкованию этого термина в «Статистический словарь»/ Гл. ред. М.А. Королёв, – 2-е изд., перераб. и доп. -  М.: Финансы и статистика. –  1989. – 623с.

  На стр. 542 читаем: «УРОВЕНЬ ЗНАЧИМОСТИ – одна из характеристик качества критерия статистической проверки гипотез. Пусть выдвинута гипотеза H₀ (основная, или "нулевая"). Всякое стат. решение, принимаемое на основе ограниченного ряда наблюдений, неизбежно сопровождается вероятностью ошибочного заключения. С вероятностью альфа гипотеза H₀ может оказаться отвергнутой, в то время как на самом деле она является справедливой (ошибка первого рода), или, наоборот, с вероятностью бэта может быть принята гипотеза H₀ в то время как на самом деле она является ошибочной (ошибка второго рода). ... В частности, при фиксированном объёме выборки обычно задаются величиной альфа вероятности ошибочного отвержения проверяемой  гипотезы H₀. Эту вероятность ошибочного отклонения "нулевой" гипотезы принято называть УРОВНЕМ ЗНАЧИМОСТИ... На практике часто пользуются след. стандартными значениями альфа: 0,1 , 0,05 , 0,025 , 0,01 , 0,005 , 0,001. Особенно распространённой является величина УРОВНЯ ЗНАЧИМОСТИ  альфа равная 0,05. Она означает, что в среднем в пяти случаях из ста ошибочно отвергают высказанную гипотезу при пользовании данным критерием статистическим». 

 Следуя же утверждению авторов статьи, получается, что они соглашались ошибочно отвергать нулевую статистическую гипотезу и с вероятностью большей, нежели 5%. Например, с вероятностью 10%, 25%, 50% и даже 100%! Ведь все эти величины более 5%. Т.е. вместо корректного выражения типа «Критический уровень значимости принимался равным 5%», авторы использовали некорректную, совершенно ошибочную формулировку.

      Дополним это толкование термина «УРОВЕНЬ ЗНАЧИМОСТИ» обратившись к определению понятия доверительной вероятности.  Для этого используем популярную среди биологов и медиков книгу Г.Ф. Лакина "Биометрия" (Москва, изд-во "Высшая школа", 1990. – 352 с.), в которой на с. 107 читаем следующее. «...С доверительной вероятностью тесно связан уровень значимости альфа, под которым понимают разность альфа=1–Р». Авторы никак не поясняют, почему «Уровень значимости р принимали больше 0,05». Однако это утверждение бессмысленно ещё и вот по какой причине. В статистическом анализе уровень значимости для используемых статистических критериев принимается РАВНЫМ некоторой постоянной величине. Эта величина используется в качестве граничного, критического уровня значимости. К примеру, если критический уровень значимости принимается РАВНЫМ 0,05, а для используемого статистического критерия фактический, достигнутый уровень значимости оказывается более чем р=0,05 , например, р=0,12, т.е. 12%, то в этом случае нет оснований отклонить нулевую гипотезу, и она принимается.

 Нулевая же гипотеза в каждом конкретном случае может быть разная. Например, с помощью t-критерия Стьюдента проверялась гипотеза о равенстве двух генеральных средних в двух совокупностях. Либо нулевая гипотеза заключалась в утверждении равенства двух генеральных коэффициентов корреляций, либо в равенстве двух генеральных дисперсий, либо в равенстве генерального коэффициента корреляции нулю, и т.д. Однако наибольшая некорректность это утверждения заключается в использовании авторами отношения «больше». Ведь при этом авторы не указывают, до какого конкретного значения, большего, чем 0,05, они принимают уровень значимости. Поскольку уровень значимости есть вероятность, которая может принимать значения в интервале от 0 (НЕВОЗМОЖНОЕ СОБЫТИЕ), до 1 (ДОСТОВЕРНОЕ СОБЫТИЕ), то утверждение «Уровень значимости р принимали больше 0,05» можно понимать так, что авторы статьи принимали в том числе и такие уровни значимости, как 0,5 ; 0,9; 0,95, и даже 1. Ведь все эти значения тоже больше 0,05!

   Если же обратиться к статье «Непосредственные результаты протезирования аортального клапана каркасными биологическими протезами «БиоЛАБ КА/ПТ» (ПКК № 1, 2011. С. 16-20), то мы увидим, что в обеих статьях есть те же авторы. Однако в этой новой статье (её анализ приведён ниже) авторы в разделе «МАТЕРИАЛ И МЕТОДЫ» ничего не говорят о том, какой уровень значимости был ими использован. Однако в тексте статьи встречаются выражения типа «р<0,05». Из чего можно сделать вывод о том, что неявно в данном случае уровень значимости принимался равным 0,05,  а не «больше 0,05».  Вероятно, что за 4 года, прошедшие с момента публикации первой статьи, данные авторы осознали некорректность выражения «Уровень значимости р принимали больше 0,05», и поэтому в новой статье уже не использовали его.

            Бессмыслицы в описании используемого уровня статистической значимости в медицинских публикациях весьма часты. Что объясняется не только недостаточным уровнем знаний медиков в основных понятиях статистики, но также и отсутствием в редакционных коллегиях медицинских и биологических журналов сотрудников, обладающих этими знаниями в необходимом объёме. В качестве примера такой нелепости приведём статью «Анализ взаимосвязи полиморфизма С677Т гена метилентетрагидрофолатредуктазы с клиническими проявлениями атеросклероза»;  (авторы М.Г. Спиридонова¹, В.А. Степанов¹, В.П. Пузырев¹, Р.С. Карпов². ¹ Научно-исследовательский институт медицинской генетики Томского научного центра Сибирского отделения РАМН (директор - академик РАМН В.П. Пузырев).  ² Научно-исследовательский институт кардиологии Томского научного центра Сибирского отделения РАМН (директор - академик РАМН Р.С. Карпов).  Журнал «Генетика», вып. 9, 2000, стр. 1269-1273. (URL: http://www.biometrica-tomsk.ru/kk/index_3.htm#33 )

 Цитата из статьи (с. 1270): «Для всех статистических тестов в качестве критерия статистической достоверности рассматривался уровень значимости более 0,95».  Как видим, помимо того, что два академика РАМН, два директора НИИ РАМН допустили столь грубую ошибку в описании уровня значимости, эту же ошибку допустила и редакция столь известного журнала, как журнал «Генетика». Что вполне объяснимо, поскольку один из авторов этой статьи, академик РАМН, директор НИИ медицинской генетики РАМН В.П. Пузырев, является членом редакционной коллегии данного журнала.

    Ниже приведено описание использованных авторами данной статьи методов статистики. Рассмотрим следующее утверждение авторов: «В ходе статистического анализа выборочных данных применялись методы и средства … для проверки гипотез о равенстве числовых характеристик  выборочных распределений данных...». Итак, авторы пишут о том, что они применяли методы и средства статистического анализа «… для проверки гипотез о равенстве числовых характеристик  выборочных распределений данных». Из этого утверждения следует явное непонимание смысла статистических гипотез, о проверке которых пишут авторы статьи.

   Авторы формулировали свои гипотезы, которые далее проверяли различными методами, для «числовых характеристик  выборочных распределений данных».  Т.е., если ими были вычислены СРЕДНИЙ ВОЗРАСТ для первой группы пациентов (n=21), равный 56 лет, и СРЕДНИЙ ВОЗРАСТ для второй группы пациентов (n=106) равный 57,5 года. То в этом случае утверждение авторов означает, что проверяемые ими гипотезы для этого случая формулируются так: нулевая гипотез  H₀: 56 = 57,5 ;  альтернативная гипотеза H₁: 56 ≠ 57,5.  Но ведь уже из школьного курса арифметики известно, что число 57,5 больше числа 56. И для этого нет нужды использовать никакие методы статистики. В том числе ни U-критерий Уилкоксона-Манна-Уитни, ни Т-критерий Уилкоксона, ни t-критерий Стьюдента и т.п. Статистические гипотезы тем и отличаются от арифметических соотношений «равно», «больше–меньше» и «не равно», что они проверяют гипотезы не для соотношений ВЫБОРОЧНЫХ ХАРАКТЕРИСТИК! А что же тогда они проверяют, о чём не ведают авторы статьи? Об этом очень подробно написано практически во всех учебниках по статистике… И этому мы учим на  наших семинарах по статистике (http://www.biometrica-tomsk.ru/seminar.htm) уже второй десяток лет.  

В описании процедуры статистического анализа данных, использованных в данном исследовании, перечисляются 9 разнообразных методов.  Это критерий Колмогорова-Смирнова, U-критерий Уилкоксона-Манна-Уитни, Т-критерий Уилкоксона, t-критерий Стьюдента, F-критерий Фишера, анализ таблиц сопряжённости с критерием Пирсона  χ² с поправкой Йетса, точный двусторонний критерий Фишера и т.д. Однако в разделе «Результаты и обсуждение» нет ни значений этих критериев, ни достигнутых для них значений величин статистической значимости, нет и коэффициентов сопряжённости Пирсона и Чупрова, нет и отношений шансов.

  При этом в тексте статьи используется несколько десятков процентных соотношений. В этой связи возникает вполне закономерный вопрос, с какой целью авторы статьи перечислили так много статистических критериев и методов, не приведя при этом никаких конкретных результатов их использования? Напомню, что методологический принцип  «бритвы Оккама» гласит: «Не следует привлекать новые сущности без необходимости».  В данном случае налицо нарушение этого принципа. Или всё же необходимость упоминания столь большого количества статистических методов была? Тогда в чём она заключалась? Какова была её цель?

Авторы пишут: «Таким образом, полученные  данные показали отсутствие статистически достоверной разницы при применении разного вида заплат в оценке долгосрочных результатов операций по таким критериям, как толщина неоинтимы, наличие пристеночного тромба и атеросклеротических изменения сосудистой стенки в месте пластики».  Обороты «достоверно выше» и «достоверно ниже» встречаются также и в других утверждениях в данной статье. Данные обороты некорректны [24], о чем мы уже упоминали выше.

   Авторы пишут: «Средний возраст пациентов составил 57±7,3 года». Однако при этом не уточняют, какой выборочный параметр приводится после знака  « ± ». Это может быть как стандартное отклонение, так и стандартная ошибка среднего, либо полуширина доверительного интервала.  В принципе такие уточнения могут и не потребоваться, если в редакционных требованиях к рукописям статей имеется конкретизирующее требование приводить после этого знака величину конкретного параметра, например, величину выборочной ошибки среднего. Что было бы вполне разумно, поскольку в этом случае заинтересованные читатели могут без особого труда самостоятельно вычислить доверительные интервалы для нужных величин, и сравнить их с доверительными интервалами, полученными по собственным данным. Но ведь этого указания нет в редакционных требованиях журнала ПКК.

На стр. 69 читаем: «Средний возраст пациентов этой группы - 32,3± 1,2 года». Аналогичные выражения для средних величин встречаются в тексте статьи и далее. Однако нигде при этом не сообщается, что за величины размещены автором после символа  ±  . Вероятнее всего отсутствие этого пояснения вызвано тем, что в редакционных требованиях журнала ПКК ничего не говорится о том, каким образом описывать результаты статистического анализа.

На стр. 70 автор приводит рис. 1, в подписи под которым приведено значение р=0,001. Видимо, это есть значение достигнутого уровня статистической значимости для некоего статистического критерия.  Однако каким методом, и с использование какого конкретно статистического критерия было проведено сравнение двух групп наблюдений, автор не сообщает.

 

4. ПКК, 2007, № 4, с. 11-15. Динамика показателей липидного метаболизма у больных ишемической болезнью сердца после коронарного шунтирования.

На странице 12 авторы сообщают, что «Полученные результаты обрабатывались методом вариационной статистики». Т.е. авторы называют науку статистику методом. Тогда как в действительности данная наука содержит в себе огромное количество самых разных методов. Этот факт подтверждается, в том числе, и использованием во многих публикациях оборота «применялись методы вариационной статистики». Ниже мы приведём фрагмент из статьи «Эндотелиальная дисфункция и фактор курения у пациентов с ишемической болезнью сердца при тестировании лучевой артерии перед коронарным шунтированием» (ПКК, № 1, 2012, с. 33-37) где авторы как раз используют данный оборот. При обсуждении этого фрагмента отметим также и анахронизм выражения «вариационная статистика».   Далее авторы сообщают, что использовали  t-критерий Стьюдента. Однако при этом не проводят проверку ограничений на использование данного критерия. Не обнаруживаются в статье и непосредственные результаты использования t-критерия Стьюдента, например, значения этого критерия при сравнении двух групп, и значения достигнутых уровней значимости для них. В статье сообщается о формировании 3-х групп сравнения. И в этом случае при использовании t-критерия Стьюдента возникает проблема множественных сравнений, что требует изменения критического уровня значимости. Однако и об этом в  статье также ничего не сообщается. Из чего можно сделать вывод о том, что авторы статьи не знают об этой специфике использования t-критерия Стьюдента.

   Далее, как и во многие других статьях, публикуемых в журнале ПКК, авторы используют обороты со словом «достоверно». Что в данном контексте является некорректным [24].  Как и во многих других статьях этого журнала, авторы используют выражения вида 214,0 ± 24,9 , не сообщая при этом, что за величины расположены в них после знака  ±  .  На странице 13 авторы приводят в табл. 2 средние значения  концентраций липидов. А на следующей странице приведён график, отражающий отклонение показателей липидного спектра после операции коронарного шунтирования при неосложнённом и осложнённом течении. Основным же недостатком данного исследования является «плоский» подход к изучению динамики изучаемых показателей. Суть этого «плоского» подхода заключается в использовании одних лишь процедур сравнения групповых средних, при полном игнорировании ценнейшей информации о взаимных связях между признаками. Т.е. отсутствует использование наиболее подходящих для этого многомерных методов.

  О такой ситуации мы писали в разделе «ДОКАЗАТЕЛЬНАЯ МЕДИЦИНА И СТАТИСТИКА» [41] нашего  обзора «Доказательная или сомнительная?  Медицинская наука Кузбасса: статистические аспекты» .  В частности, для иллюстрации ошибочного представления о достаточности такого подхода при сравнении групп, в обзоре приведён представленный слева график. Для данных групп 1 и 2 средние значения совокупностей, откуда извлечены эти выборки, статистически значимо не различаются.  Однако при таком «плоском» сравнении игнорируется информация, заложенная в корреляционных связях всех анализируемых признаков. Поэтому  авторские выводы о сопоставимости традиционного биохимического метода и метода малоуглового рентгеновского рассеяния у больных ИБС, не очень надёжны и доказательны.  Поскольку при аргументации такого вывода игнорируются взаимосвязи между показателями липидного спектра, а также некорректно используется t-критерий Стьюдента. Применительно к данной задаче и анализируемому массиву данных более разумно было бы использование таких многомерных методов статистического анализа, как непараметрический дискриминантный анализ и логистическая регрессия [44].

 

5. ПКК № 1,  2008. С. 18-21. Применение коронарных стентов с лекарственным покрытием в лечении больных с рецидивом стенокардии после коронарного шунтирования.

   Авторы не проверили ограничения на возможность применения t-критерия Стьюдента, и уже в силу этого их выводы можно считать сомнительными. Помимо этого авторы используют некорректный оборот «Достоверными считали различия при уровне значимости p<0,05» (см. фрагмент текста слева). Уже сам факт ненулевого значения критического уровня значимости в 5% говорит о том, что полученные результаты в принципе не могут быть достоверными [24] (см. пояснения этой некорректности выше). Авторы проводят сравнение группы «Контроль» и 3-х  временных точек: 60 суток, 120 суток и 180 суток. Наличие 4-х групп сравнение требует обязательного учёта проблемы множественных сравнений. Поскольку для 4 групп имеется 6 пар сравнения, то критический уровень значимости должен быть понижен в 6 раз. И в этом случае он будет менее 1%. Однако авторы не подозревают о данной проблеме и не изменили критический уровень значимости. К положительным моментам данной публикации следует отнести то, что авторы в разделе «Материал и методы»  поясняют используемые ими выражения вида  M ± m, а также используют в тексте выражение о статистически значимых отличиях.

               В разделе «Материал и методы» авторы не сообщают, какие конкретно статистические методы были ими использованы. Между тем, в разделе «Результаты и обсуждение» они приводят результаты использования статистических методов. Так, в табл. 1 приводятся результаты сравнения средних четырёх показателей. При этом приведены значения достигнутого уровня статистической значимости для использованных статистических критериев. Однако уровни значимости авторы ошибочно называют уровнем достоверности. Выше мы уже обсуждали смысл этой некорректности [24]. Так, для показателя ИММЛЖ эта величина равна 0,00008. В тексте статьи часто приводятся значения средних величин, с использованием выражений вида 69,1 ± 4,5. Однако при этом авторы не сообщают, какая конкретно величина, ошибка среднего, стандартное отклонение, или же полуширина доверительного интервала размещена после знака ± . В статье сообщается, что «Для выявления факторов, оказывающих наибольшее влияние на формирование градиента давления на биопротезе «БиоЛАБ КА/ПТ», провели нелинейный многомерный статистический анализ данных». Но при этом в статье абсолютно ничего не говорится о том, какой же конкретно метод статистического анализа был использован авторами. Судя по приведённому далее выражению «ПТГД = 27,7±3,09 ИМТ² – 0,036 (№ протеза)²» можно предположить, что ими был использован метод множественной регрессии с предикторами второго порядка.

 В тексте статьи сообщается: «При проведении анализа выявили, что существует сильная (р<0,05) зависимость между величиной ПТГД и ИМТ, № протеза и площадью отверстия протеза». Данное утверждение также является ошибочным, поскольку сила, интенсивность связи во множественной регрессии, определяется не величиной достигнутого уровня статистической значимости, а значением такого показателя, как коэффициент множественной корреляции R и коэффициент детерминации R². Чем ближе эти величины к 1, тем сильнее связь. Например, для двух разных уравнений множественной регрессии были получены одинаковые значения достигнутого уровня значимости для F-критерия Фишера, равные 0,01. Однако для первого уравнения регрессии коэффициент детерминации был равен 0,81, а для второго он был равен 0,49.

     В этом случае можно говорить о том, что в первом уравнении 81% вариабельности зависимой переменной определяется вариабельностью вошедших в уравнение предикторов. И только 19% изменчивости зависимой переменной зависят от иных величин, не вошедших в уравнение. Тогда как во втором случае изменчивость предикторов определяет лишь 49% вариабельности величины зависимой переменной. А остальные 51%  зависят от иных, не вошедших в уравнение признаков. В этом случае можно говорить о наличии более сильной связи для первого уравнения, и менее сильной – для второго. Более того, величины R и R² существенно корректируются (уменьшаются) с учётом объёма наблюдений, по которым оцениваются уравнение множественной регрессии. А эти объёмы для каждого уравнения могут значительно отличаться между собой.

     Вызывает вопрос и форма приводимого в статье уравнения: «ПТГД = 27,7 ± 3,09 ИМТ² – 0,036 (№ протеза)²» . Каков смысл числа 3,09 в выражении 27,7 ± 3,09? И почему второй коэффициент 0,036 не имеет такую же форму? Т.е. нет знака  ±  после 0,036 и после него нет второго числа.  Скорее всего, это опечатка, пропущенная ответственными за данный выпуск журнала редактором Т. Ф. Чалковой и корректором Н. Ф. Подопригорой. Т.е. число 27,7 – это свободный член уравнения (Intercept),  а вместо знака  ±  должен быть один знак, а именно знак +, поскольку в статье авторы пишут о прямом (читай: положительном)  влиянии индекса массы тела. И в этом случае полученное авторами уравнение множественной регрессии, видимо, имеет следующий вид: ПТГД = 27,7 + 3,09* ИМТ² – 0,036*(№ протеза)².

    При использовании метода множественной регрессии оценивается довольно много величин. В частности, это размерные регрессионные коэффициенты, безразмерные регрессионные коэффициенты, стандартные ошибки этих коэффициентов, критерии проверки статистической значимости этих коэффициентов, достигнутые уровни значимости для каждого коэффициента, включая так называемый свободный член (Intercept),  коэффициент множественной  корреляции (интенсивность, сила связи), коэффициент детерминации (интенсивность, сила связи),  F-критерий Фишера и 2 степени свободы для данного статистического критерия. Тогда как применительно к уравнению регрессии авторы статьи лишь однажды упоминают уровень значимости: «… выявили, что существует сильная (р<0,05) зависимость  …».  А вот какова конкретно «сила» этой зависимости, авторы не сообщают. Непонятно также и то, что означает признак «№ протеза». Если между разными номерами протезов имеются различия в их параметрах (линейные размеры, размеры площади и объёма, и т.д.), то вполне разумно было бы ввести набор этих характеристик в список потенциальных регрессоров (предикторов). Т.е. в состав признаков, которые могли войти в уравнение множественной регрессии для объяснения величины зависимого показателя ПТГД.  Однако в тексте статьи об этом ничего не сказано.

    Другой аспект использования многомерных статистических методов заключается в том, что в этом случае априорно не может быть лишь одного единственного решения. Так, для случая множественной регрессии возможна оценка не одного, а целого набора уравнений. Тем более, в случае нелинейного уравнения. Во-первых, имеется огромное количество нелинейных преобразований, из которых тем или иных способом отбираются  уравнения, дающие лучшие результаты.  Между тем, авторы никак не аргументируют своего выбора именно уравнения второго порядка, а не иного нелинейного преобразования. Во вторых, оценка таких уравнений может быть произведена с помощью различных алгоритмов.

    Так, помимо принудительного включения предикторов в уравнение достаточно плодотворно используются так называемые пошаговые алгоритмы оценки уравнений. В третьих, в ряде случаев полученные уравнения не всегда удовлетворяют тем ограничениям, которые накладываются на этот метод. И в этом случае необходимо оценивать устойчивость параметров уравнений, а также исследовать анализируемые данные на предмет наличия в них, так называемых аномальных значений (выбросов). Обо всех этих аспектах авторы статьи ничего не сообщают, видимо, по причине незнания этих деталей данного метода. В итоге полученное авторами уравнение множественной регрессии следует оценивать как недостаточно обоснованное, а значит, его использование в практике вполне может привести к негативным последствиям.

   Авторы пишут: «Статистическая обработка результатов проводилась с помощью программы Excel. Достоверность различий средних величин и корреляционных взаимоотношений проводили с помощью t-критерия Стьюдента. Достоверными считали различия при p<0,05».  В работе допущена типичная ошибка – использование критерия Стьюдента без проверки ограничений его использования. Напомним, что в пакете Excel невозможно проверить в полном объёме эти ограничения. Кроме того, два ограничения на корректное  использование данного критерия одновременно выполняются лишь в нескольких процентах случаев, что уже делает авторские выводы сомнительными. Далее, авторы используют в своей работе 3 группы сравнения: «До 1 мес», «1-6 мес»  и «6-12 мес». В этом случае необходимо учитывать проблему множественных сравнений, и по этой причине уменьшать используемый в статье критический уровень значимости р=0,05. В статье авторы используют некорректные обороты со словом «достоверно» [24] (см. пояснения выше). В работе используются выражения для вычисленных средних величин вида «45,2±2,2», однако при этом авторы не уточняют, какие величины размещаются после знака  ± .

    В этой статье авторы используют критерий Стьюдента без проверки ограничений на его применение, а также  некорректные обороты со словом «достоверно». [24] Положительным элементом можно считать следующий фрагмент текста: «Критическая величина уровня значимости (p) была принята равной 0,05. Нулевая гипотеза отвергалась, когда значение p было менее 0,05». В работе используются выражения для вычисленных средних величин вида «2,43±0,57», однако при этом авторы не уточняют, какие величины размещаются после знака  « ± » .  В таблице 2 авторы приводят результаты вычисления одностороннего точного критерия Фишера для двух таблиц 2х2 со следующими частотами:

Однако расчёт одностороннего точного критерия Фишера для таблицы с частотами

22    15

30    26

даёт иной результат:  р=0,365, вместо приведённого результата  р=0,45.

А для таблицы

17   18

13     8

получаем результат р=0,245. Разумеется, в обоих случаях полученные вероятности гораздо больше критического уровня р=0,05 , однако большая разница в результатах для первой таблицы вызывает сомнения в корректности других результатов. К недостаткам данного исследования следует отнести также и ограниченность использованных методов статистического анализа. В частности,  анализировались лишь парные связи, при игнорировании методов многомерного  статистического анализа, которые позволяют получать более ценную и полезную для целей исследования  информацию.  Учитывая наличие 2 и 4 групп сравнения, целесообразно было использовать в данном исследовании, как минимум, такие методы анализа, как факторный анализ [см. Факторный анализ: основные положения и ошибки применения http://www.biometrica-tomsk.ru/factor.htm ], логистическую регрессию [44], непараметрический дискриминантный анализ.

Положительный момент данной публикации: конкретизация структуры выражения вида 8,8 ± 0,7. Отрицательные моменты: использование критерия Стьюдента без проверки ограничений его использования, а также без учёта проблемы множественных сравнений, и использование оборотов со словом «достоверно» [24]. К недостаткам данного исследования следует отнести также и ограниченность использованных методов статистического анализа. В частности,  анализировались лишь парные связи, при игнорировании методов многомерного  статистического анализа, которые позволяют получать более ценную и полезную для целей исследования  информацию.  Учитывая наличие 2 групп сравнения, целесообразно было использовать в данном исследовании, как минимум, такие методы анализа, как логистическую регрессию [44], ROC-анализ [69-70], непараметрический дискриминантный анализ.

Авторы сообщают, что  «Цель исследования – оценка влияния исходных анатомо-функциональных и гемодинамических показателей на прогнозирование ближайших результатов у пациентов после протезирования АК».  Далее в разделе «Материал и методы» авторы приводят следующую информацию. «Для оценки влияния исходных анатомо-функциональных показателей на результаты операции протезирования АК проведено клинико-функциональное исследование 394 пациентов, которым было выполнено изолированное протезирование АК за период 2001–2007 гг.. … Анализировались следующие исходные показатели:

Кроме того, рассчитывался ряд дополнительных показателей [3].  Для всех этих показателей был проведён анализ корреляционных взаимоотношений, оценивая существующие связи с результатом операции, с учётом их достоверности, направленности и силы. … Учитывая многообразие причинно-следственных связей и параметров, характеризующих состояние больных с пороками АК и необходимость создания модели, на основе которой возможно прогнозировать течение послеоперационного периода и вероятность благоприятного исхода операции, мы применили метод многомерного статистического анализа. Модель прогноза рассчитана на базе регрессионного анализа, задачей которого являлось прогнозирование значений результирующей переменной Y по известным значениям антропометрических параметров, показателей ЭхоКГ и ряда дополнительных характеристик, связанных со спецификой проведения операций на  дооперационном этапе. Расчёты проводились методами математической статистики».

Выше приведены 34 показателя, из которых 8 показателей имеют балльную шкалу. Кроме того, как сообщают авторы, «рассчитывался ряд дополнительных показателей [3]».  В статье же не приводится ни одного уравнения регрессии, хотя об использовании этого метода анализа авторы заявили в разделе «Материал и методы».

«В ходе исследования было выявлено, что для пациентов с изолированным протезированием АК большее влияние на прогноз операции играли факторы параметров сердца, центральной гемодинамики, показатели клапанов сердца, антропометрические данные и показатели миокарда (рис. 1)».  Однако в статье не объясняется, каким конкретно методом статистического анализа были получены эти оценки «доли влияния факторов на прогноз, %».  Если предположить, что авторы использовали для этой цели заявленный ими регрессионный анализ, то в этом случае необходимо уточнить, какая величина принималась в качестве результирующей переменной Y. В подписи к рис. 1 авторы упоминают такой показатель, как прогноз.

   Однако в списке 34 перечисленных в разделе «Материал и методы» признаков  такой показатель отсутствует. Иными словами, неясно, что за величину авторы статьи подразумевают под прогнозом. Если это величина количественная, то в этом случае разумно привести полученное  уравнение множественной регрессии, хотя бы с минимумом параметров: коэффициенты регрессии  (размерные и безразмерные), достигнутые уровни статистической значимости для коэффициентов,  показатели адекватности уравнения в целом (коэффициент множественной корреляции, коэффициент детерминации, F-критерий Фишера и достигнутый уровень значимости для него).

   В статье приведено несколько десятков коэффициентов парной  корреляции. «Анализ показателей Ф3 демонстрирует умеренную корреляционную связь гемодинамических показателей с прогнозом операции (r=0,424). При этом влияние показателей на прогноз операции было больше в группе пациентов с АоН+СоАоН (r=0,232), чем в подгруппе с АоС+СоАоС (r=0,124)»  «В ходе корреляционного анализа связи факторов с прогнозом операции были установлены следующие закономерности. Выявлена умеренная сила корреляции показателей Ф1 (r=0,683) с прогнозом операции, …». Напомним, что «показатели Ф1», это «фактор нарушения кровообращения (Ф1)». В статье авторы сообщают, что «Основные исходные показатели по близости характеризуемых ими переменных были объединены в группы факторов (Ф) …».  Таких наборов было создано авторами 7. Из этого следует, что Ф1 есть не уникальный количественный или ранговый  признак, а некий набор признаков. Однако авторы при этом не уточняют, какие конкретно признаки они включили в этот набор. Неясно и то, что за величина подразумевается под признаком «прогноз операции».  Если это некая количественная величина, то в этом случае должен применяться один набор алгоритмов для оценки уравнения регрессии.

    Если же под прогнозом подразумевается качественный признак с двумя или более градациями, то в этом случае необходимо использовать логистическую регрессию [44]. В тексте статьи неоднократно встречаются аналогичные фразы, содержащие упоминание о связи прогноза операции и того или иного фактора. Однако нигде не конкретизируется, что такое «прогноз операции», и с помощью какого статистического метода авторы получили приводимые ими оценки корреляционных связей.  Иными словами, для всех приводимых в статье коэффициентов корреляции, которых в статье около 50, не сообщается, что это за коэффициент корреляции. Напомним, что основных коэффициентов корреляции, отличающихся как по алгоритму их оценки, так и по комбинациям анализируемых признаков, в математической статистике известно порядка десятка. Это коэффициенты корреляции Пирсона, Спирмена, Кендэла, Фехнера,  коэффициент множественной корреляции,  двухстрочечной корреляции, бисериальной корреляции и т.д.

«Выявление показателей, исходные значения которых могут определять процент благоприятного исхода операции, прогнозировать возможные осложнения, равно как и оценка тяжести состояния в предоперационном периоде у пациентов, идущих на протезирование АК, является одним из актуальных направлений современной кардиохирургии». Поскольку в приведённом выше фрагменте статьи сообщается об определении процента благоприятного исхода, то весьма вероятно, что использована логистическая регрессия. Но тогда результаты такого анализа должны содержать помимо самого уравнения  с коэффициентами и уровнями значимости, и другие показатели, в частности, показатели конкордации, ROC-кривые. [44, 69-70]

«В нашем исследовании корреляционному анализу были подвержены 68 исходных анатомофункциональных показателя».  Если же принять во внимание, что часть анализируемых признаков имела балльную шкалу, то очевидно, что в этом случае не всегда возможно использовать классические алгоритмы множественного регрессионного анализа. Более приемлем в этом случае более сложные методы, такие как  метод логистической регрессии, лог-линейный анализ, анализ соответствий (correspondence analysis) , анализ многомерных таблиц сопряжённости, и т.д.  Кроме того, с учётом того, что несколько десятков показателей являются количественными, для достижения поставленных целей исследования было бы разумно использовать и такие методы статистического анализа, как факторный анализ и анализ канонических корреляций. В итоге можно сделать заключение, что из ценнейшего массива, содержащего значения нескольких десятков показателей по 394 пациентам, извлечена лишь самая мизерная толика информации. Причём корректность результатов этого анализа вызывает большие сомнения.

К недостаткам публикации следует отнести использование оборотов со словом «достоверно». [24]  Кроме того, авторы не уточнили, для проверки на соответствие какому конкретно виду распределения  был использован критерий Колмогорова-Смирнова. Можно предположить, что в этом случае подразумевалось нормальное распределение, однако в этом случае использование данного критерия имеет свою специфику, заключающуюся в том, что для вычисления величины критерия используются выборочные параметры распределения, и для корректировки критерия необходимо использовать соответствующие поправки. Кроме того, не сообщается и о проверке второго ограничительного условия для использования t-критерия Стьюдента. К положительным моментам публикации следует отнести пояснение структуры выражения для средних величин вида 55,3±9, а также факт упоминания критического уровня статистической значимости, и использованных статистических критериев сравнения центральных мер.

13. ПКК, № 1, 2010, с. 41-43.   Хирургический стресс и белки теплового шока HSP70 при операциях аортокоронарного шунтирования.

В тексте статьи авторы используют выражения вида 63,8±3,5, однако не сообщают, какие конкретно величины  соединены знаком  ± . Если относительно первой величины можно быть уверенным, что это есть среднее, то относительно второй величины, стоящей после знака ± такой уверенности нет. Поскольку это может быть как ошибка среднего, так и стандартное отклонение, а также полуширина доверительного интервала. В редакционных же требованиях нет никаких указаний о том, что за величины могут представляться в такой форме.  Учитывая тот факт, что в статье использованы выражения вида p < 0,05 и p < 0,01(см. табл. 1 и 2, а также текст статьи),

а также некорректные обороты вида «различия достоверны» [24], можно предположить, что авторы статьи использовали некие статистические критерии.  Именно предположить, а не утверждать. Поскольку в разделе «Материал и методы» авторы не сочли необходимым указать, какие конкретно статистические методы и критерии были ими использованы.

14. ПКК, № 1, 2010, с. 44-48. Ретроградная перфузия головного мозга как компонент противоишемической защиты мозга при реконструктивных операциях на дуге аорты.

            В отличие от предыдущей статьи, в разделе «Материал и методы» авторы данной статьи перечисляют использованные ими методы и указывают критический уровень статистической значимости, а также сообщают, какие конкретно величины  соединены знаком  « ± »: «Статистический анализ проведён с помощью программ Excel, Биостат и Statistica 6. Сравнение двух групп проводили с применением t-критерия Стьюдента. Качественные признаки оценивались с использованием критерия χ². Результаты представлены как среднее и стандартная ошибка среднего (М ± m). Статистически значимыми считались различия при р<0,05».  Однако говоря об использовании критерия Стьюдента, авторы не указывают, каким образом проверялись ограничения на его использование. Из чего можно сделать вывод о том, что данные ограничения им неизвестны. Кроме того, учитывая, что число групп сравнения более двух, нужно было учитывать проблему множественных сравнений, для чего необходимо уменьшать значение критического уровня значимости. В статье же об учёте этой проблемы авторы не сообщают. В работе используются некорректные выражения вида «при уровне достоверности * р<0,05; ** р<0,01» [24]. То, что авторы статьи называют неверно уровнем достоверности, в действительности есть величина достигнутого уровня статистической значимости «р». [65]   Не корректно также выражение «Качественные признаки оценивались с использованием критерия χ²». Например, если таким признаком предположить пол пациента, то очевидно, что пол пациента не оценивается с помощью критерия χ². В данном выражении авторы подразумевали, что критерий Хи-квадрат использовался ими для анализа статистических связей между качественными признаками. В разделе «Обсуждение» авторы приводят подобные результаты анализа: «В нашем исследовании включение в схему защиты мозга РПГМ позволило снизить летальность (РПГМ – 3,4%, ГГОК – 25%; χ², p=0,002) и распространённость послеоперационной неврологической дисфункции (РПГМ – 7,9%, ГГОК – 37,5%; χ², p<0,05)».

Отметим, что данную форму приведения результатов анализа статистической связи между качественными признаками нельзя признать полноценной и информативной для читателя.  В качестве образца более информативного представления результатов сравнения можно рассмотреть представленную ниже табл. 2.

В этой таблице читатель достаточно наглядно видит изменение средних величин наиболее важных показателей. Тогда как выражения вида «РПГМ – 3,4%, ГГОК – 25%; χ², p=0,002» не обладают такой наглядностью. Поскольку авторы статьи не приводят ни значения самого критерия Хи-квадрат, ни числа степеней свободы для этого критерия, то трудно решить, при анализе таблицы сопряжённости какого вида был получен этот уровень статистической значимости.  Ведь достигнутый уровень значимости p=0,002 может быть получен как для разных значений самого критерия Хи-квадрат с разными степенями свободы df. То есть, иными словами, для разных таблиц сопряжённости. Так достигнутый уровень значимости р=0,002 получаем для значения критерия χ²=9,54936, и при числе степеней свободы равном 1, т.е. для таблицы сопряжённости 2х2. И этот же самый уровень значимости р=0,002 получаем для таблицы сопряжённости 2х3, при числе степеней свободы равном 2, и величина критерия χ² при этом будет равна 12,429216.

    Однако как в случае таблицы 2х2 (4 клетки), так и в случае таблицы 2х3 (6 клеток), статистически значимая взаимосвязь между двумя качественными признаками не будет равномерно распределена («размазана») по всем 4 или 6 клеткам. (см. подобный пример в нашей статье «ДОКАЗАТЕЛЬНАЯ МЕДИЦИНА И СТАТИСТИКА [41])Тщательный анализ позволяет установить, какие конкретно клетки (строки, столбцы) в большей степени ответственны за наличие значимой связи. Иными словами, для вдумчивого, интеллектуального читателя, таким же интеллектуальным авторам целесообразнее не просто приводить значение уровня значимости р=0,002, а приводить и всю таблицу сопряжённости. И, кроме того, желательно приводить и детальный анализ такой таблицы. Естественно, что для этого необходимо располагать специальными знаниями по математической статистике, что, в свою очередь, требует участия в анализе подобных данных профессионального биостатистика.

           В разделе «Материал и методы авторы пишут: «Для проверки гипотезы применялся критерий χ²». Однако содержание текста статьи говорит также и об использовании иных статистических критериев. Слева приведены табл. 1 и 2, в которых, видимо, приводятся средние значения 4-х групп сравнения, а также  уровни значимости. Однако авторы не сообщают, каким методом и критерием они пользовались для сравнения 4-х групп. Не сообщают авторы и о том, какие выборочные параметры размещены после знака  «±»  в выражениях вида 233 ± 43. В тексте используются некорректные обороты со словом «достоверно». [24] «Статистический анализ логистической регрессии выявил, что объёмные показатели и фракция выброса ЛЖ по данным ЭхоКГ не влияли на отдаленную летальность». Таким образом, авторы сообщают об использовании ими метода логистической регрессии. Напомним, что существуют разные модели и алгоритмы логистической регрессии, результаты которых существенно отличаются между собой. [44] Однако в статье не уточняются использованные авторами алгоритмы логистической регрессии.

Авторы дают ссылку на источник [11]: Sartipy U., Albage A., Lindblom D. // Eur. J. Cardiothorac. Surg. 2006. V. 30. P. 762–771. Если же обратиться к этой статье, то можно обнаружить, что в ней авторы гораздо более подробно описывают полученные ими результаты. Например, в таблице 4 они приводят следующую информацию (См. таблицу 4 слева). Как видим, в таблице 4 используется выражение «Mean  ±  SD»,  т.е. среднее  ± стандартное отклонение, а также значения достигнутых уровней значимости. 

А вот какие подробные результаты приводят авторы этой статьи по оценке факторов риска методом Кокса (см. слева фрагмент этой статьи с описанием раздела «Статистический анализ»). 

Данные примеры приведены нами для того, чтобы показать, что статья, на которую делают ссылку авторы,  могла быть образцом дляподражания в части более полного описания результатов использования статистических методов.

16. ПКК, № 2, 2010, с. 4-7. Протезирование митрального клапана с сохранением подклапанных структур у пациентов детского возраста. 

В работе используются выражения для вычисленных средних величин вида «11,4±4,8», однако при этом авторы не уточняют, какие величины соединены знаком « ± ».   В статье используются выражения вида «достоверные различия» [24], что свидетельствует о незнании авторами статьи основных понятий и терминологии статистики [65]. Авторы не сообщают, с помощью каких конкретно статистических методов и критериев они проверяли гипотезы о различии средних 9 признаков для трёх групп сравнения.

17. ПКК, № 2, 2010, с. 8-12. Отсроченное ушивание стернотомной раны у новорожденных и детей раннего возраста после коррекции транспозиции магистральных сосудов.

В статье авторы пишут: «Статистический анализ проводился с использованием критерия Стьюдента, одностороннего точечного  критерия Фишера, достоверный уровень значимости «p» был принят 0,05». Однако при этом не проводят проверку ограничений на использование критерия Стьюдента, что уже ставит под сомнение все полученные с его использованием результаты. Некорректно также и выражение «точечный критерий Фишера». Поскольку в статистике нет «точечного критерия Фишера». А есть «точный критерий Фишера». Предположим, что авторы допустили элементарную опечатку. Однако при этом ни рецензенты, ни редколлегия журнала, ни ответственные за выпуск данного номера журнала, также не оспорили некорректность этого выражения. Это наглядно свидетельствует как о качестве статистического анализа проводимого авторами, так и о качестве рецензирования, и работы с рукописями редколлегии ПКК. Некорректно также использование выражения «достоверный уровень значимости «p» был принят 0,05» и остальных выражений с использованием слова «достоверно». [24]  В работе используются выражения для вычисленных средних величин вида «3,6±0,9», однако при этом авторы не уточняют, какие величины соединены знаком « ± ». 

 18. ПКК, № 2, 2010, с. 18-21. Применение аминодифосфоната для профилактики кальцификации эпоксиобработанных биопротезов.

19. ПКК, № 2, 2010, с. 22-25. Распределение химических элементов в сосудистой системе больных ишемической болезнью сердца.

            В разделе «Материал и методы» авторы пишут: «Статистическая обработка полученных результатов проводилась с помощью программы Microsoft Excel 2000. Достоверность отличий рассчитывали по t-критерию Стьюдента. Достоверными считали различия при p<0,05. Результаты представлены в виде среднее значение ± ошибка среднего (M ± m)». Положительным моментом данного описания можно считать описание выражения  М ± m, а также использование оборота «статистическая значимость». Однако помимо данного оборота авторы используют некорректные выражения со словом «достоверность». [24] Поскольку авторы проводили с помощью критерия Стьюдента сравнение более 2-х групп, то в этом случае необходимо учитывая проблему множественных сравнений уменьшить критический уровень значимости, чего авторы не сделали.

    Далее, используя критерий Стьюдента, авторы не проводят проверку  ограничений на применение данного критерия. В частности, в пакете EXCEL нет процедуры проверки нормальности распределения. Эти нарушения делают выводы данной статьи относительно наличия статистически значимых различий средних сомнительными.  Поскольку авторы изучали парные корреляционные взаимосвязи между 13 химическими элементами,  и часть коэффициентов корреляции была статистически значима, то разумно в этом случае было использовать многомерные методы, такие, как факторный анализ, кластерный анализ, дискриминантный анализ, логистическую регрессию и т.д. Это позволило бы извлечь более ценную информацию, нежели результаты сравнения средних 3-х групп наблюдений, и парные коэффициенты корреляции. Учитывая огромную важность цели данного исследования, мы предлагаем авторам данной статьи бесплатное проведение детального статистического анализа собранных ими данных, при условии публикации этих результатов и их сравнении с опубликованными в данной статье.

20. ПКК, № 2, 2010, с. 26-28. Влияние гепарина и протамина сульфата на агрегацию эритроцитов.

            В разделе «Материал и методы» авторы пишут: «Данные исследования обработаны непараметрическими методами вариационной статистики с использованием программы «STATISTICA 6.0». Результаты представлены в виде M  ±  m.  Различия считали достоверными при  p < 0,05». Авторы не уточняют, какие конкретно величины связаны символом  « ± ». Не сообщается также и о том, какие конкретно непараметрические методы были использованы. К недостаткам статьи можно отнести также использование некорректных оборотов со словом «достоверно». [24]

21. ПКК, № 2, 2010, с. 42-45. Эхокардиографические предикторы неблагоприятного исхода операции тромбэндартерэктомии из ветвей лёгочной артерии.

            В разделе «Материал и методы» авторы ничего не сообщают об использованных ими методах статистического анализа. Тогда как в разделе «Результаты» приводятся различные выражения, полученные с помощью статистических методов. Например, в табл. 2 авторы приводят результаты сравнения двух групп пациентов. Однако при этом не сообщают, с помощью каких  статистических методов и критериев они проводили сравнение двух групп пациентов. Не сообщают авторы и о том, какие выборочные параметры представлены в статье в выражениях типа «88 ± 29,5» (см. табл. 2 слева). Можно предположить, что первая величина – среднее, а относительно второй величины стоящей после знака  « ± » можно предположить, что это либо стандартное отклонение, либо ошибка среднего.

В качестве положительного момента данной публикации можно отметить тот факт, что авторы приводят в статье достигнутые уровни значимости для использованных (но не упомянутых в разделе «Материал и методы») статистических критериев. Учитывая важность и актуальность данного исследования, целесообразно было при проведении статистического анализа полученных данных использовать такие методы многомерной статистики, как логистическая регрессия [44] и многомерная нелинейная регрессия.

            В разделе «Материал и методы» авторы пишут: «Группы достоверно не различались между собой по половому составу (критерий ?2=0,064; p=0,80), возрасту (критерий Стьюдента t=0,258; p=0,80), структуре сердечно-сосудистой патологии (критерий χ²=0,056; p=0,81)». Испытуемым предлагалось ответить на 68 вопросов, оценивая своё состояние по пятибалльной системе: 5 баллов – никогда не было, 4 балла – редко, 3 балла – иногда, 2 балла – часто, 1 балл – постоянно или всегда.. Однако при этом авторы не проверили ограничения на использование критерия Стьюдента, что уже делает результаты, приведённые в табл. 1-2 сомнительными. В статье используются некорректные выражения, включающие в себя слово «достоверно» («Группы достоверно не различались», «различия не являлись статистически достоверными», «отсутствие достоверных различий» и т.д. ). В своей статье «ЛОШАДЕНДУС  СВАЛЕНДУС  С  МОСТЕНДУС» [70] мы рассматривали детально пример, в котором диссертант Омской государственной академии  Леонтьев В.В. выполнил факторный анализ, используя дискретные признаки.  Тогда как данный метод применим лишь к непрерывным, количественных признакам. Подобно этому диссертанту авторы статьи использовали  t-критерий Стьюдента применительно к 68 балльным признакам, которые имеют всего лишь 5 градаций. Т.е. такие дискретные признаки уже в силу своей природы не могут иметь нормального распределения. И по этой причине к ним нельзя применять t-критерий Стьюдента. Всё это говорит о том, что уровень знаний в области биостатистики среди исследователей Омской государственной медицинской  академии весьма низок. В то же время, тот факт, что столь грубое нарушение корректности использования t-критерия Стьюдента осталось незамеченным редакционной коллегией журнала ПКК в составе 21 человека, а также рецензентами (если рукопись данной статьи рецензировалась), говорит также и об их уровне знаний по биостатистике. Сомнительные результаты использования t-критерия Стьюдента к балльным признакам авторы приводят в табл. 1-2.

 Учитывая дискретную природу анализируемых признаков, авторам статьи вместо t-критерия Стьюдента целесообразно было применять непараметрические методы сравнения групп, анализ многомерных таблиц сопряжённости, анализ соответствий, лог-линейный анализ, и логистическую регрессию [44]. Очевидно, что сомнительные выводы, полученные в результате некорректного использования статистических методов, столь же сомнительно способны при их использовании в лечебной практике вызвать желаемую реакцию.  Если, конечно, основной целью подобных исследований является получение полезной информации для её использования во врачебной практике, а не просто для использования её в публикации.

«При использовании тестов Шапиро – Вилка и Колмогорова – Смирнова выявлено, что распределение данных в совокупности носит параметрический характер. Сравнения групп с нормальным распределением проводились с помощью t – теста для двух независимых выборок. Анализ выборок при повторных измерениях осуществлялся с помощью критерия Фишера. … Статистически значимыми считались различия данных при р<0,05».

Положительным моментом описания является указание критического  значения достигнутого уровня значимости р=0,05. Однако в тексте статьи встречаем выражения вида «достоверное отличие», что является некорректным оборотом [24]. Далее, авторы не поясняют, что означает оборот «параметрический характер». Если сделать в Яндексе поиск на словосочетание «параметрический характер», то обнаружим всего лишь несколько ссылок, в которых встречается данное словосочетание. Но ни в одной из них не анализируются распределения вероятностей. Вот некоторые предложения из этих ссылок. «При этом было установлено, что из-за нелинейности дифференциального уравнения (2) возбуждение носит не только кинематический, но и параметрический характер». (И. И. Вульфсон. Колебания механизмов с гибкими связями при параметрических импульсах. Теория Механизмов и Машин. 2010. №2. Том 8. http://tmm.spbstu.ru/16/vulfson_16.pdf ). «В случае параметрического синтеза САУ, алгоритм решения задачи оптимизации имеет параметрический характер». (Принципы автоматизации  Систем Автоматического Управления. Методы и Алгоритмы. Студент гр. САПР-1В-96 Царев Александр В. http://radiolubite.narod.ru/referats/47/1061-013/index.html). «Проблема носит параметрический характер, если она может быть устранена изменением только параметров организационно-производственной системы» (Разработка и реализация управленческих решений. http://elearn.oknemuan.ru/?p=1&id=8).

Если говорить об использовании тестов Шапиро-Вилка (Шапиро-Уилка) и Колмогорова-Смирнова, то данные критерии могут быть использованы для проверки гипотез о разных законах распределения вероятностей. Судя по контексту, авторы проверяли гипотезу о нормальном законе распределения. Но и в этом случае выражение «параметрический характер» не может заменить собой конкретизацию закона распределения, поскольку ВСЕ законы распределения имеют разные наборы ПАРАМЕТРОВ. В том числе и те законы, которые не относятся к семейству нормальных. Для нормального закона это 2 параметра: генеральное среднее и генеральная дисперсия. Для всех других законов эти наборы будут включать разные параметры. Так, распределение Стьюдента имеет один параметр: f – число степеней свободы. Распределение Фишера имеет 2 параметра: f₁ и f₂ – степени свободы. Распределение Рэлея имеет один параметр – а, и т.д. Поэтому упоминая тесты (критерии) проверки гипотезы о законе распределения, необходимо конкретизировать название этого закона. Однако для корректного применения критерия Стьюдента при проверке гипотез о равенстве 2-х групповых средних, недостаточно только проверки нормальности. Необходимо выполнение и второго условия: равенства двух генеральных дисперсий (см. статью «Когда нельзя, но очень хочется, или Ещё раз о критерии Стьюдента» [32]. О проверке этого второго условия авторы не сообщают, из чего можно сделать вывод о том, что эта проверка не проводилась. Учитывая, что оба условия одновременно выполняются крайне редко,  примерно в 2-5% случаев, можно утверждать, что результаты, полученные авторами с помощью критерия Стьюдента, не могут быть признаны надёжными.

24. ПКК, №1, 2011, с. 49-52. Нужна ли кардиоплегия при операции прямой реваскуляризации миокарда?

«Полученные данные обработаны с использованием программы статистического анализа StatPlus 2007 Professional. Результаты представлены в виде М ± m, где М – среднее значение, а m – стандартное отклонение».  Положительным моментом описания является конкретизация выражения М ± m. Однако при этом авторы не сообщают, какие конкретно статистические методы и критерии были ими использованы. Между тем в программе StatPlus 2007 Professional имеется несколько десятков методов и критериев. Причём достаточно современных и глубоких методов анализа. Тогда как авторы статьи ограничились лишь самыми простейшими – сравнением средних в группах.

25. ПКК, № 3, 2010, с. 40-44.  Оптимизация защиты головного мозга путем применения методики гипоксического прекондиционирования и анестезии ксеноном у кардиохирургических пациентов.

В таблицах 2-4 авторы приводят около 100 выражений вида 12,60 ± 2,78, однако при этом не указывают, какие конкретно величины связаны знаком  « ± » . К недостаткам данной статьи также следует отнести использование авторами выражений с использованием слова «достоверно». [24]

26. ПКК, № 3, 2010, с. 50-55.  Проблема церебральных микроэмболических осложнений у кардиохирургических больных и гемореологические методы их профилактики.

В таблицах 2-4 авторы приводят около 100 выражений вида 9,8 ± 2,7, однако при этом не указывают, какие конкретно величины связаны знаком  « ± ». К недостаткам данной статьи следует отнести использование авторами выражений с использованием слова «достоверно». [24] В статье приводятся многочисленные результаты сравнений более 2 групп, с примечаниями типа «p < 0,05», однако авторы не сообщают, какие гипотезы и с помощью каких критериев они проверяли.

В таблицах 2-4 авторы приводят более 180 выражений вида 10,6 ± 7,9, однако при этом не указывают, какие конкретно величины связаны знаком  « ± » . К недостаткам данной статьи следует отнести использование авторами выражений с использованием слова «достоверно». [24] Проводя сравнение групп, авторы умалчивают, какими конкретно статистическими методами и критериями они производили данные операции. Учитывая, что в работе анализируются 7 групп сравнения, необходимо было учитывать проблему множественных сравнений, для чего нужно было значительно снизить критический уровень значимости. Однако, авторы видимо не подозревают о существовании такой проблемы, и потому не уменьшили принятый ими критический уровень значимости в 5% . Учитывая тот факт, что в работе использовались 9 количественных признаков, а также имелось немало и качественных показателей, описывающих анамнез и особенности проводимых операций, целесообразно было использовать в исследовании многомерные методы статистики, в частности, непараметрический дискриминантный анализ и логистическую регрессию. [44]

В разделе «Материал и методы авторы пишут: «Данные представлены в виде среднее  ± стандартное отклонение (M  ±  m). Сравнение внутри и межгрупповых различий количественных признаков оценивали с помощью парного и непарного коэффициента Стьюдента, качественных – χ² Пирсона. Факторы риска госпитальной летальности определяли методом многофакторной логистической регрессии. Уровень значимости р принимали менее 0,05».  К положительным моментам данной публикации следует отнести конкретизацию авторами выражений вида M  ±  m, а также указание критического уровня статистической значимости. К недостаткам же данной публикации следует отнести отсутствие проверки двух условий применимости критерия Стьюдента. С учётом того, что одновременное выполнение этих условий реализуется крайне редко, полученные с помощью критерия Стьюдента выводы авторов нельзя считать доказательными. К недостаткам следует также отнести использование авторами выражений с использованием слова «достоверно». [24]

Авторы сообщают: «В нашем исследовании единственным независимым фактором риска возникновения госпитальной летальности, определённым методом многофакторной логистической регрессии, было время окклюзии аорты больше 160 мин». Между тем, в таблице №2 «Структура хирургических вмешательств, тип и размер протеза, время искусственного кровообращения и окклюзии аорты (р = NS)» приведённый признак «Время окклюзии аорты, мин» не имеет дискретных значений, содержащих градацию «Более 160 мин». Это непрерывный, количественный признак,  имеющий для первой группы (n=22) среднее значение 120,8 ± 41,9, и для второй группы (n=19) среднее значение 126,6 ± 35,9. Поэтому непонятно, каким образом непрерывный количественный признак «Время окклюзии аорты, мин» был превращён с помощью метода логистической регрессии в дискретный признак. Возможно, что данное граничное значение представляет собой точку деления, оценённую с помощью иных методов анализа. Например, с помощью ROC-анализа. Но в этом случае необходимо объяснить процедуру оценки порогового значения. Поскольку существуют разные методы таких оценок. Напомним, что метод логистической регрессии [44] тем и привлекателен, что он  позволяет использовать в клинических исследованиях для оценки взаимосвязи между дискретным, качественным признаком (в данном случае это признак с двумя градациями «Выжил – Умер») как непрерывные, количественные признаки, например, «Возраст, годы», «Время окклюзии аорты, мин»  и т.д., так и дискретные, качественные признаки, например, «Пол», «ХОБЛ», «ХСН», и т.д. Поэтому в том случае, когда алгоритм оценки уравнения логистической регрессии отбирает признак «Время окклюзии аорты, мин», то это не означает, что данный признак становится дискретным.

В своей статье авторы не сообщают также никаких параметров полученного ими уравнения, содержащего упоминаемый ими единственный предиктор «время окклюзии аорты больше 160 мин».  В частности, отсутствуют такие параметры этого уравнения, как коэффициенты уравнения, достигнутые уровни значимости этих коэффициентов, отношение шансов для установленного предиктора. Нет и такого важного показателя для оценки адекватности полученного уравнения, как результаты проверки уравнения с помощью критерия Хосмера-Лемешова. Нет и не менее важного показателя  – результата проверки однородности распределения остатков с помощь критерия Пирсона Хи-квадрат. И, наконец, нет самого важного показателя качества такого уравнения, показателя конкордации – показателя согласия фактических значений зависимого признака «Летальность» (Выжил – Умер) и расчётных. Когда показатель конкордации близок к 1, то это означает высокую степень связи зависимого признака «Летальность» и набора предикторов. И наоборот, если этот показатель близок к 0,5 , или менее 0,5, то данное уравнение не имеет никакой ценности. [44]

    Кроме того, учитывая что в данном исследовании имеется 15 потенциальных предикторов, приведённых в таблице 2 «Структура хирургических вмешательств, тип и размер протеза, время искусственного кровообращения и окклюзии аорты (р = NS)», вызывает сомнение, что из этих 15 признаков в уравнение логистической регрессии алгоритмом был отобран лишь 1 предиктор. Весьма вероятно, что такой результат объясняется отсутствием у исполнителя статистического анализа этих данных необходимых знаний и опыта оценки логистических уравнений. Такая версия вполне реальна, поскольку данный исполнитель даже не указал в разделе «Материал и методы» ни название пакета, в котором проводился данный анализ, не привёл ни одной ссылки на литературные источники с описанием этого метода, и не указал, какой конкретно алгоритм оценки уравнения (а их очень много) был им использован. Отметим также, что в тех случаях, когда подобный анализ выполняется силами профессиональных биостатистиков, используются различные алгоритмы оценок уравнений логистической регрессии. В результате чего получается не единственное, уникальное уравнение, а набор различных уравнений. Из которых далее отбирается одно, или несколько, наиболее ценных и полезных уравнений. Так автор этих строк за последние 5 лет получил более 5 тысяч оценок уравнений для исследователей в разных областях медицины, однако из них для реального использования было отобрано лишь порядка 200-300.

В статье авторы приводят ссылку под номером 18: 

Ниже приводим полное название этой статьи:

В этой статье (Determinants of Survival …) авторы весьма подробно описывают использованные ими статистические методы анализа своих наблюдений. И такое описание могло бы стать примером для подражания цитирующим эту статью. Приводим раздел «Анализ данных» из этой статьи.

«Data Analysis

Baseline patient variables used in this analysis and tested for association with risk were as follows:

Preoperative variables

Age

Sex

Body surface area

New York Heart Association class

Status of operation

Elective

Urgent

Emergency

None

Right bundle-branch block

Left bundle-branch block

Second- or third-degree heart block

Type of valvular heart disease

Stenosis

Insufficiency

Combined stenosis and insufficiency

Conduction defect

Left ventricular ejection fraction

Left ventricular end-diastolic pressure

Aortic valve gradient

Extent of coronary artery disease (≥50% stenosis)

None

1-vessel disease

2-vessel disease

3-vessel disease

Left main disease (?50% stenosis)

Operative variables

Year of operation

Prosthetic valve type

Mechanical

Bioprosthetic

Homograft

Prosthetic valve size

Completeness of revascularization (calculated as

number of major coronary vessels bypassed divided

by number of major vessels diseased [≥50% stenosis]; = 0 if no vessels diseased)

These variables are similar to risk factors previously reported [4, 7, 9-11]. Differences between patient groups in baseline clinical, angiographic, echocardiographic, operative, and follow-up variables were tested for statistical significance by t or χ²  tests or by analysis of variance as appropriate. Multivariate analysis of all risk factors relating to outcome was performed for the overall population by using a stepwise Cox proportional hazards model [12] for overall survival and a regression analysis for postoperative change in ejection fraction. Variables were included in multivariate analyses if univariate significance was less than or equal to 0.10. Unadjusted overall patient group survival probabilities relative to baseline characteristics were compared by a log-rank test. All values are mean ± standard deviation except as otherwise noted. A p value less than 0.05 was considered significant».

Данное описание состоит из 262 слов, и содержит не только перечисление анализируемых признаков, но и указание на то, что при анализе был использован пошаговый алгоритм для регрессии Кокса. При этом авторы дают ссылку на источник [12], в котором как раз и описывается модель Кокса:

12. Cox DR. Regression models and life tables. J Res Stat SOC [B] 1972;34:187-201. Ниже приводим табл. 4 и 6 из этой статьи  (Determinants of Survival …), в которых видно, что в качестве предикторов пошаговый алгоритм  отобрал из всего перечня потенциальных предикторов более 1 признака.

При этом для каждого предиктора приводится как значение критерия Хи-квадрат, так и значение достигнутого уровня статистической значимости. Разумеется, одной из причин отбора нескольких предикторов может быть тот факт, что авторы анализировали результаты наблюдений за 1012 пациентами. Тогда как в статье «Непосредственные результаты протезирования аортального клапана у пациентов с аортальным стенозом и систолической дисфункцией левого желудочка» из ПКК анализируются наблюдения лишь за 41 пациентом. Однако и в таких случаях использование различных алгоритмов оценки уравнения логистической регрессии даёт возможность получить более 1 уравнения. И это тем более возможно, поскольку авторы статьи оперировали несколькими десятками показателей. Детальный же анализ и сравнение таких уравнений позволяет, в конечном счёте, получить наиболее оптимальные и ценные уравнения. Разумеется, для реализации этого варианта требуется участие опытного биостатистика.

29. ПКК, № 4, 2010, с. 23-28. Протезирование митрального клапана биологическими протезами «КемКор» и «ПериКор»: отдалённые результаты.

В разделе «Материал и методы авторы пишут: «Статистический анализ проводили с помощью программы Statistica 7.0. Анализ взаимосвязей признаков проводили методами нелинейного многомерного моделирования. При анализе выживаемости использовали метод Каплана-Мейера, а также таблицы выживаемости. Уровень значимости р, при котором отвергалась нулевая гипотеза, принимали равным 0,05». В статье авторы используют порядка сотни выражений вида «50 ± 12», однако при этом не сообщают в разделе «Материал и методы» какие именно величины связаны символом ± . Если первое число видимо является средней величиной, то второе число может быть как стандартным отклонением, так и ошибкой среднего. Ещё одна неясность касается авторского утверждения «Анализ взаимосвязей признаков проводили методами нелинейного многомерного моделирования». Из этой фразы совершенно непонятно, о каких конкретно методах моделирования пишут авторы. Если они подразумевают под нелинейными методами метод Каплана-Мейера, то он априори является нелинейным. Кроме того, речь идёт не о единственном нелинейном методе,  а о многих методах, т.е. о неких иных методах моделирования. Однако в тексте статьи данные модели не приводятся.  Положительным моментом статьи является указание авторами критического уровня статистической значимости.

30. ПКК, № 4, 2010, с. 29-35. Клинико-ангиографическая эффективность использования покрытых баллонных катетеров у больных с рестенозом ранее имплантированных коронарных стентов.

В разделе «Материал и методы авторы вообще никак не освещают статистические аспекты своего исследования. В частности, не объясняются, какие именно величины связаны символом « ± »  в выражениях вида 58,6 ± 8,02. В пояснениях к табл. 2 «Данные ЭхоКГ больных двух групп», авторы приводят выражение «p > 0,05». Однако умалчивают, какие конкретно статистические гипотезы проверялись при этом, и какими конкретно статистическими критериями.

В разделе «Материал и методы» авторы пишут: «Статистическую обработку проводили с помощью непараметрических данных». Уважаемые читатели! Вдумайтесь в смысл этой фразы. Получается, что вначале 8 авторов статьи собрали исходные данные о состоянии пациентов. Затем к ним добавили (или применили?) некие «непараметрические данные», и с помощью этих «непараметрических данных» стали анализировать данные о состоянии пациентов? Именно одним предложением из 6 слов 8 авторов и ограничивают своё описание статистических аспектов своего исследования. Уже один этот факт говорит об отношении авторов к использованному ими статистическому инструментарию и к выводам, полученным с его помощью. Как видим, авторы скрыли от читателей, редколлегии журнала и рецензентов многие аспекты этого исследования.

    Например, они не объяснили, что за величины  используются ими в выражениях вида «0,947±0,06». В тексте статьи приводятся 3 рисунка и 2 таблицы, в которых использованы выражения «p < 0,05». Это свидетельствует о том, что авторы проверяли некие статистические гипотезы. Однако при этом авторы не посчитали необходимым указать, какими конкретно статистическими методами и критериями проверялись эти гипотезы. Также не объяснено, что они подразумевают под выражением «непараметрические данные». Напомним, что анализ этого некорректного выражения мы проводили также и в опубликованном 2 года назад обзоре "Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты", где анализировались статьи, часть из которых была написана этими же авторами. И в нём сообщалось, что не существует «непараметрических данных». Есть непараметрические методы статистики, а непараметрических данных нет, и не может быть в принципе.

    Чтобы пояснить это утверждение, обратимся к толкованию слова «параметр». Вот как объясняется этот термин в «Словаре иностранных слов» (М.: Изд-во «Русский язык», 1989. – 624 с .) на стр. 370: «[<гр. parametron  отмеривающий] – 1) мат. величина, входящая в формулы и выражения, значения которой является постоянным в пределах рассматриваемой задачи». Аналогичные толкования этого термина можно найти во многих других словарях. Если же обратиться к Энциклопедии «Викисловарь» (URL: http://ru.wiktionary.org/wiki/параметр), то вот как там предельно сжато, описано значение этого слова применительно к математике: «количественный показатель, характеризующий важное свойство чего-либо».  Если, исходя из этого объяснения, интерпретировать выражение «непараметрические данные», то получается что данные, которые анализировались авторами, не имеют вообще никаких параметров, т.е. нет ни средних величин, ни минимальных, ни максимальных, ни стандартных отклонений, ни объёма выборки и т.д. А ведь это и есть те самые «параметры» анализируемых данных. И если нет "параметров", то нет и самих данных.

    8 авторов данной статьи, использующие выражение «непараметрические данные», не являются начинающими исследователями, вообще не имеющими никакого опыта использования статистики в медицине. Это 2 доктора медицинских наук, профессора, один из них даже академик РАМН, директор НИИ, другой – заведующий отделом этого НИИ и зав. кафедрой КГМА; 3 кандидата медицинских наук работающих в этом самом НИИ, один из них заведующий лабораторией, и 3 младших научных сотрудника упомянутого НИИ. Использование некорректного выражения «непараметрические данные» означает, что авторы даже не знакомы с такими понятиями, как «параметрические методы статистики» и «непараметрические методы статистики».  Напомним, что подобные статистические нелепости были нами детально проанализированы в статье «ЛОШАДЕНДУС  СВАЛЕНДУС  С  МОСТЕНДУС» [70].

Далее авторы пишут: «У пациентов с рестенозами выявлен повышенный уровень ЛП(а), при этом достоверных различий по другим измерявшимся показателям, а именно ЛПВП, ЛПНП, ЛПОНП, АпоА-1 и Апо В, не обнаружено. … Вместе с тем результаты недавних исследований Г.Г. Арабидзе и др. [2009] показали отсутствие достоверной взаимосвязи показателя ЛП(а) с заболеваемостью ишемической болезнью сердца, а имеющаяся некоторая взаимосвязь ЛП(а) с известными факторами риска ИБС – артериальной гипертонией, диабетом, а также возрастом и полом, по мнению авторов, обладает небольшим уровнем значимости [2]. … Вместе с тем на фоне увеличения содержания атерогенных липопротеинов и апопротеина В выявлены достоверное снижение антиатерогенного ХС ЛПВП и тенденция к уменьшению входящего в их состав апопротеина А (рис. 1) ... При этом у мужчин эти изменения выражены в большей степени, а в группе женщин к 12-м суткам наблюдения отмечается достоверное повышение апо-В и тенденция к увеличению остальных изучаемых параметров (рис. 3). … у пациентов с острым коронарным синдромом в первые сутки содержание ЛП(а) достоверно повышается… ».  Использование подобных выражений со словом «достоверно», с точки зрения статистики, является некорректным,[24] и свидетельствует о незнании авторами статьи базовых понятий и терминологии статистики. [65] Детальный анализ этой некорректности дан в статье известного специалиста по доказательной медицине Н.А. Зорина «О неправильном употреблении термина "достоверность" в  российских научных психиатрических и  общемедицинских статьях»[24]

Обратимся к энциклопедии «Вероятность и математическая статистика» (Научное издательство «Большая российская энциклопедия», М.: 1999. – 910 с.) На странице 178 этой энциклопедии прочитаем: «…  понятие «Достоверность» связано с достоверными событиями, происходящими с вероятностью 1». Применительно же к результатам статистического анализа выборочных наблюдений, вероятности этих событий, формулируемых в виде статистических гипотез, не равны 1. И в силу этого подобные обороты в данном контексте являются неверными. Использование авторами таких оборотов тем более нелогично, что в этой же самой статье авторы используют достаточно часто и правильные выражения вида «статистически значимые различия». Наиболее вероятная причина такого противоречия может заключаться в том, что при наличии 8 соавторов отдельные фрагменты текста могли готовиться разными соавторами. И в силу этого использовались различные формулировки.

   Как известно, часть соавторов нередко добавляется с целью скорейшей публикации статьи. Например, аспирантам необходимо в определённые сроки до защиты диссертации опубликовать определённое количество статей. И чтобы быстрее их опубликовать, они в соавторы включают как своё непосредственное начальство, так и руководителей организаций, где они работают или учатся. Полагаю, что данная технология знакома многим. И ещё один аспект подобных публикаций. Известно,  что количество авторов публикаций и цитируемость этих публикаций имеет отрицательную корреляцию. Т.е. чем больше количество соавторов, тем реже цитируются эти публикации. Возможной причиной этого как раз и являются подобные конфликты содержания отдельных фрагментов текста, написанные разными соавторами. К недостаткам данной публикации следует отнести также и то, что анализируя более 2 групп сравнения, авторы не учитывают проблему множественных сравнений.

32. ПКК, № 4, 2010, с. 42-45. Гемодинамика и гидродинамический статус при системном воспалительном ответе инфекционной и неинфекционной этиологии на фоне продолжительной заместительной почечной терапии.

 По сравнению с предыдущей статьёй (опубликованной в этом же номере ПКК на стр. 36-41) в данной публикации авторы дали несколько более подробное описание статистических аспектов своего исследования. Напомню, что в предыдущей статье всё описание заняло 1 предложение из 6 слов. В анализируемой же статье это описание включало уже 3 (NB!) предложения, и состояло из  33 (NB!) слов: «Все данные в исследовании представлены как среднее арифметическое ± стандартное отклонение (M ± σ). Статистически значимыми различиями при сравнении качественных данных считали при уровне p<0,05. Оценка характера распределения проводилась по критерию Колмогорова – Смирнова». Итак, положительный момент данного описания – конкретизация выражения «арифметическое ± стандартное отклонение (M ± σ)». Однако выражение M ± σ нуждается в корректировке. В статистике принято обозначать греческими буквами генеральные параметры, т.е. популяционные параметры. Тогда как выборочные параметры, вычисляемые по имеющимся выборкам, принято обозначать их латинскими аналогами. Например, генеральное среднее обозначают буквой «μ», а выборочное среднее буквой «М». Аналогично генеральное стандартное отклонение обозначают буквой «σ», а выборочное – «s». Таким образом, более правильно было бы вместо «M ± σ» написать «M ± s».

   Тем не менее, сам факт использования выражения «арифметическое ± стандартное отклонение», которое отсутствовало в предыдущей статье, уже говорит о многом. В частности,  если сравнить порядок расположения 5 авторов данной и 8 авторов предыдущей статьи, то можно предположить, чем вызвано появление этого выражения. Как видим, в описании статистики в данной статье отсутствует и выражение «непараметрические данные». Напротив, появилось упоминание об оценке вида распределения с помощью критерия Колмогорова-Смирнова. К сожалению, одного лишь упоминания этого критерия недостаточно. Ведь авторы не сообщают читателям, редакционной коллегии и рецензентам на соответствие какому конкретно закону распределения проводилась эта оценка. Можно предположить, что оценивалось согласие с нормальным распределением. Но и в этом случае также есть тонкости  использования данного критерия, которые не упоминаются авторами.

В исследовании анализировались изменения 12 количественных признаков в 4 периода наблюдения: «Исходно», «1-е сутки», «2-е сутки» и «3-е сутки». Таким образом, имеется один фактор с 4 градациями. В свою очередь каждая из этих 4-х групп разбита на 2 подгруппы: «Позднее начало ЗПТ» и «Раннее начало ЗПТ» (ЗПТ – заместительная почечная терапия). Помимо этого имеется и ещё один дополнительный фактор с 2 градациями: «СВО+инфекция» и «СВО+И». Таким образом, налицо 3 фактора влияющих на значения 12 анализируемых количественных признаков. В таблицах 1 и 2 авторы приводят результаты сравнения около 200 средних. При этом в примечаниях к таблицам используются выражения вида «p < 0,05». Однако авторы не сочли полезным и необходимым указать, какими конкретно статистическими методами и критериями они пользовались для сравнения групп. Между тем, это очень важный аспект подобного исследования. Обозначим имеющиеся 3 фактора буквами А, В и С.

    Анализируя характер изменения каждого из 12 количественных признаков возможно попытаться установить степень влияния каждого из этих трёх факторов. Обозначим степень такого влияния как η²_А, η²_В, η²_С. Помимо индивидуальных влияний этих факторов в отдельности, возможны также проявления и так называемых эффектов взаимодействия. Это 3 двойных эффекта взаимодействия, и один тройной эффект: η²_АВ, η²_АС, η²_ВС, η²_АВС. Суть этих эффектов заключается в том, что для некоторых комбинаций двух или трёх факторов средние групповые значения не будут различаться, тогда как для оставшихся комбинаций могут наблюдаться существенные, значимые изменения. Фактически мы имеем классический пример данных для анализа с помощью многофакторного дисперсионного анализа.

Учитывая тот факт, что в исследовании анализировалось 12 количественных признаков, целесообразно было использовать и несколько многомерных методов статистического анализа. Например, дискриминантный и факторный анализ, а также анализ канонических корреляций. Кроме того, учитывая, что помимо этих 12 количественных переменных в анамнезе пациентов фиксировалось немало и других признаков, в т.ч. качественных, целесообразно было использовать и такой мощный метод, как логистическая  регрессия. [44]

33. ПКК, № 4, 2010, с. 51-55. Распределение химических элементов таблицы Менделеева в сердечно-сосудистой системе кардиохирургических больных.

В разделе «Материал и методы» авторы пишут: «Статистическая обработка результатов проводилась с помощью программы Microsoft Excel 2000. Достоверность различий средних величин и корреляционных взаимоотношений проводили с помощью t-критерия Стьюдента. Достоверными считали различия при р<0,005». К недостаткам данной публикации следует отнести сомнительность полученных выводов, поскольку авторы не проверяли выполнение ограничений на использование критерия Стьюдента. Отметим, что одно из этих ограничительных условий в принципе невозможно проверить, используя программу Microsoft Excel 2000. Далее, авторы не сочли необходимым довести до сведения читателей и редакционной коллегии, какие конкретно коэффициенты корреляции были ими оценены. Как известно, имеется довольно много различных видов корреляционных коэффициентов. Неясно и то, различия каких корреляционных взаимоотношений проводились авторами. Вызывает также вопрос и об использовании столь низкой величины критического уровня статистической значимости, который авторы задали равным 0,005. Что это? Опечатка, допущенная работниками журнала, или же сознательный выбор самих авторов статьи? Ведь в предыдущей аналогичной статье «Распределение химических элементов в сосудистой системе больных ишемической болезнью сердца» (ПКК, № 2, 2010, с. 22-25) авторы использовали критический уровень значимости равный 5%.

Авторы используют также некорректные выражения со словом «достоверность». Учитывая тот факт, что в исследовании анализировалось распределение 17 химических элементов, целесообразно было использовать в данном исследовании не «плоский» подход, заключающийся в сравнении групповых средних, а применить методы многомерной статистики, такие, как факторный анализ, анализ канонических корреляций, дискриминантный анализ и логистическая регрессия.[44] Учитывая огромную важность цели данного исследования, предлагаем авторам данной статьи бесплатное проведение детального статистического анализа собранных ими данных, при условии публикации в ПКК новых результатов, и их сравнении с опубликованными в данной статье.

34. ПКК, № 3, 2011, с. 17-21. Отдалённые результаты хирургической процедуры Maze у пациентов с клапанной патологией и фибрилляцией предсердий. 

    Как известно, существуют различные виды множественной регрессии. К примеру, хронологически первым видом множественной регрессии была множественная линейная регрессия. В этом случае зависимая переменная представляет собой непрерывную количественную переменную, обозначаемую обычно как Y. Объясняющие же переменные (предикторы) также являются количественными, и обозначаются обычно как X₁, X₂, …. X_i. В этом случае уравнение множественной линейной регрессии выглядит следующим образом: Y =  A₀+ A₁*X₁ +  A₂*X₂ +….   + A_i*X_i, где величины A_i – регрессионные коэффициенты.  Однако из фразы «Для выделения предикторов возврата ФП на этапе динамического наблюдения был проведён многофакторный регрессионный анализ. Выраженная (более 6,5 см) атриомегалия (p = 0,038) и длительность (более 5 лет) фибрилляции предсердий (p<0,001) оказывают значительное влияние на этот показатель» следует, что зависимой переменной является переменная «Возврат фибрилляции предсердий». Т.е. это качественная переменная, имеющая, как минимум, 2 градации: «Есть возврат фибрилляции предсердий» и «Нет возврата фибрилляции предсердий». Из чего следует, что авторы, вероятно, использовали нелинейную регрессию, например, логистическую регрессию [44]. В пользу этой версии говорит и тот факт, что в качестве предиктора авторы упомянули качественный признак «Выраженная (более 6,5 см) атриомегалия», т.е. фактически использовали не количественный показатель «Средний размер левого предсердия, см», а дискретный показатель «Степень атриомегалии».  В пользу версии об использовании авторами логистической регрессии говорит и такая фраза: «При проведении многофакторного анализа причин возникновения инсульта наиболее статистически значимым (p<0,001) была ФП и размер левого предсердия более 6,0 см в отдалённом периоде (p = 0,021)». К сожалению, авторы не только не конкретизируют метод  «многофакторного анализа», но также и не приводят наиболее важные показатели этого анализа, характеризующие степень надёжности полученных уравнений, таких как коэффициент детерминации R²,  показатель конкордации  и т.д. Ещё одним недостатком данной публикации следует считать использование авторами противоречащих друг другу выражений вида «статистически достоверное» и «статистически значимое», [24] свидетельствующее о том, что авторы не понимают статистического смысла двух этих утверждений.

    В разделе «Материал и методы» авторы пишут: «Для оценки нормальности распределения количественных признаков применялась визуальная оценка частотного распределения с последующей оценкой нормальности с использованием критериев Шапиро – Уилка и Д’Агостино. Параметрические признаки описаны в виде среднего значения и стандартного отклонения (в скобках). Непараметрические количественные признаки приведены в виде медианы и границ межквартильного интервала (в скобках). Для бинарных признаков приведена доля и 95%-й доверительный интервал для доли (в скобках). Сравнительный анализ количественных признаков выполнен с помощью дисперсионного анализа (при нормальном распределении признака; после про­верки однородности дисперсии критерием Бартлетта) либо критерием Крускала – Уолиса. Последующие (post hoc) межгрупповые сравнения проведены с помощью критерия Тьюки – Крамера (для параметрических признаков) либо критерием Коновера. Сравнения качественных признаков проводились точным критерием Фишера – Фримена – Холтера с последующим поиском межгрупповых различий критерием Тьюки (после арксинусной трансформации долей).

   Корреляционный анализ выполнен с помощью критерия Спирмена. Результаты корреляционного анализа представлены в виде коэффициента корреляции и (в скобках) его 95%-го доверительного интервала. Для определения точки разделения параметров строилась характеристическая кривая (ROC). Площадь под ROC (AUC) представлена в виде её значения, границ ДИ и вероятности отличия AUC от площади под диагональной линией. Значение на ROC с наибольшей суммой чувствительности и специфичности определялось как точка разделения параметра. Для точки разделения приведены значения чувствительности, специфичности и отношения шансов (ОШ) с 95%-ми доверительными интервалами. Многофакторный анализ для дихотомической переменной проводился с помощью пошаговой бинарной логистической регрессией. Независимые переменные вводились и исключались из анализа на основе критерия отношения правдоподобия (p<0,05) для включения и  p>0,1 для исключения переменной). Для всех статистических критериев ошибка первого рода устанавливалась равной 0,05. Нулевая гипотеза (отсутствие различий) отвергалась, если вероятность (p) не превышала ошибку первого рода. Статистический анализ данных проведён согласно общепринятым методам с использованием лицензионной программы Stata 11.2 (StatCorp, США)».

    Приведённое выше описание, включающее в себя 270 слов, впечатляет своей основательностью и детализацией.  Однако сравнение этого подробного описания и текста самой статьи обнаруживает явные противоречия. В частности, настораживает отсутствие в тексте результатов применения  описанных выше статистических методов. В итоге  складывается впечатление, что описание статистических аспектов является неким «инородным телом» в данной статье. Т.е. вполне возможно, что описание статистических методов  в разделе «Материал и методы» было написано одним автором, а все остальные разделы  –  другими. И эти противоречия не были обнаружены ни авторами, ни редакцией журнала, ни рецензентами. Наиболее показательным противоречием является утверждение  «Для всех статистических критериев ошибка первого рода устанавливалась равной 0,05» и выражения в тексте статьи с использованием слова «достоверно».[24] Читаем дальше. В разделе «Материал и методы»  написано: «Корреляционный анализ выполнен с помощью критерия Спирмена. Результаты корреляционного анализа представлены в виде коэффициента корреляции и (в скобках) его 95%-го доверительного интервала». Однако поиск в статье этих самых коэффициентов корреляции и их доверительных интервалов не даёт никаких результатов. Нет в тексте статьи ни коэффициентов корреляции, ни их доверительных интервалов. Возникает резонный вопрос: где же были «представлены» эти упомянутые коэффициенты корреляции и их доверительные интервалы? Быть может, они были представлены в рукописи статьи, но затем удалены редакцией ПКК?

Ещё больше удручает следующий фрагмент описания статистических аспектов данного исследования. «Параметрические признаки описаны в виде среднего значения и стандартного отклонения (в скобках). Непараметрические количественные признаки приведены в виде медианы и границ межквартильного интервала (в скобках). … Последующие (post hoc) межгрупповые сравнения проведены с помощью критерия Тьюки – Крамера (для параметрических признаков) либо критерием Коновера». Это описание говорит о том, что авторы статьи не понимают смысл такого термина, как «параметр», применительно к контексту статьи. Есть непараметрические методы статистики, а непараметрических признаков нет, и не может быть в принципе. Выше мы уже рассматривали подобные некорректности.

В разделе «Материал и методы» авторы сообщают об использовании ROC-анализа (ROC-кривых). В частности, сообщается что «Площадь под ROC (AUC) представлена в виде её значения, границ ДИ и вероятности отличия AUC от площади под диагональной линией». Увы, опять же поиски в тексте статьи подобных ROC-кривых и AUC, и «вероятности отличия AUC от площади под диагональной линией» также не приносят никаких результатов. И где конкретно "представлены" эти значения, неизвестно... В разделах «Результаты» и «Обсуждение» ROC-кривые упоминаются лишь  дважды. Вот эти цитаты. 1) «В результате проведения ROC-анализа мы получили данные, свидетельствующие о прогностической значимости мозгового натрийуретического пептида». 2) «В нашем исследовании в результате проведения ROC-анализа мы получили данные, свидетельствующие о прогностической значимости мозгового натрийуретического пептида».

Напомним, что при построении ROC-кривых можно использовать один единственный количественный признак, например, ЧСС или САД, и, изменяя его, оценивать такие показатели, как чувствительность и специфичность,  и далее строить ROC-кривые. Поскольку авторы сообщают об использовании бинарной логистической регрессии, то в этом случае в качестве такой непрерывной переменной  следует использовать так называемый beta-параметр [44]. Поскольку именно beta-параметр и соединяет в себе комбинации значений различных признаков, вошедших в качестве предикторов в уравнение логистической регрессии.  Далее он используется в виде показателя степени beta_ij в выражении для оценки вероятности отнесения конкретного i-того наблюдения к конкретной j-той группе сравнения:

Таким образом, после прочтения статьи возникает резонный вопрос: с какой же целью авторы статьи приводят в разделе «Материал и методы» столь подробное описание различных статистических методов, тогда как результаты их использования отсутствуют в разделах «Результаты» и «Обсуждение»? Отметим, что данная проблема асимметрии описания использованных статистических методов и результатов их использования не уникальна. Она достаточно часто встречается в публикациях. Так в нашем докладе [46] на международной конференции по доказательной медицине в Ереване, мы приводили аналогичные примеры по диссертациям, защищённым в ЦНИИ организации и информатизации Минздрава.

В разделе «Материал и методы» авторы пишут: «Значимость различий непараметрически распределённых зависимых величин оценивали критерием Фридмана …». Приведённое выше выражение является некорректным, поскольку не бывает «непараметрических распределений» (вероятности). Все распределения вероятности имеют параметры.

В разделе «Материал и методы» автор пишет: «Для оценки и анализа полученных данных применялись стандартные методы описательной статистики, в связи с тем, что все данные имели распределения, отличные от нормального». Совершенно абсурдная аргументация использования стандартных методов описательной статистики. [65] Тем более, что автор статьи даже не счёл необходимым указать, какой "стандарт" содержит перечень эти методов описательной статистики. Из приведённого выше утверждения следует, что для признаков имеющих нормальное распределение, некие таинственные стандартные методы описательной статистики не могут быть использованы. А нужны для этой цели какие-то иные, "нестандартные" методы. Читаем дальше: «Для анализа связи между двумя признаками, выявления различий в частоте неблагоприятных клинических признаков применялся метод ранговой корреляции Спирмена».  Непонятно, каким образом автор, используя ранговую корреляцию Спирмена, выявлял «различия в частоте»?

 Читаем далее: «Для оценки сопряжённости процессов использовали корреляционный анализ с определением коэффициентов достоверности корреляции …». В этом утверждении автор не уточняет, какие конкретно коэффициенты корреляции оценивались им. Ведь уже в предыдущей фразе он сообщал об использовании ранговой корреляции Спирмена. Не сообщает автор и о том, что такое «коэффициенты достоверности»? Читаем далее: «Различия считали достоверными при р<0,05».  Данное выражение является некорректным. Учитывая, что автор является заочным аспирантом кафедры анестезиологии и реаниматологии Кемеровской государственной медицинской академии Росздрава, можно предположить, что такой уровень знаний по статистике он получил именно на этой кафедре. В то же время, присутствие таких явных и очевидных некорректностей в статье, позволяет усомниться в том, что рукопись данной статьи была оценена рецензентами.

В разделе «Материал и методы» авторы пишут: «Сравнение средних значений анализируемых показателей проводили с помощью t-критерия Стьюдента или U-критерия Манна – Уитни». Авторы не проводят проверку ограничительных условий использования критерия Стьюдента. В тексте статьи присутствуют некорректные выражения с использованием слова «достоверно».[24]

В разделе «Материал и методы» авторы пишут: «Материал был получен от 94 трупов лиц обоего пола, средний возраст погибших составил 30±1,5 года  (р>0,05). … Контрольную группу составили 30 трупов лиц, умерших на догоспитальном этапе в результате механических повреждений (23 наблюдения) и механической асфиксии (7 наблюдений), их средний возраст составил 31±1,4 года (р>0,05)». Подобные обороты, содержащие среднее значение какого-то признака, и ошибку средней, а также выражения вида «р>0,05» встречаются в тексте статьи очень часто. Ниже приводим фрагмент текста из раздела «Результаты и обсуждение» с подобными оборотами. В разделе «Материал и методы» авторы сообщают: «При оценке структурно-функциональных изменений миокарда определяли средние величины морфометрических показателей и ошибку средней (М ± m).

 Статистическую обработку количественных показателей проводили с помощью t-критерия Стьюдента, считая значимыми различия при p<0,05». Таким образом, факт наличия выражения «p<0,05» означает, что авторы, используя t-критерий Стьюдента, проводили  проверку неких статистических гипотез. Скорее всего, это была проверка гипотез о равенстве групповых средних. Однако абсолютно непонятно, для каких конкретно групп проводились эти сравнения, поскольку авторы утаили эту информацию, как от читателей, так и от редакции журнала. В результате подобные конструкции  с выражениями «p<0,05» воспринимаются как «статистические гитики» [66]. В принципе возможны ситуации, когда t-критерий Стьюдента может использоваться и не для проверки статистических гипотез о равенстве средних двух групп. Его можно использовать и для проверки статистической гипотезы о равенстве генеральной (популяционной) средней некоторому конкретному числу, константе. Например, проверить гипотезу о том, что генеральное среднее равно нулю. И тогда вполне уместны будут такие выражения, как приведённые в статье, например, 380±17,4 г (р<0,05), и т.п. Но разве имеет смысл гипотеза о равенстве массы сердца нулю, или о равенстве нулю его линейных размеров, и т.д.?  О чём же говорит наличие подобных статистических гитик? С одной стороны, это показатель уровня знаний в области медицинской статистики самих авторов. Но с другой стороны, это ещё и показатель качества оценки содержания рукописей статьи, как редакцией самого журнала, так и рецензентами этой рукописи. Если, конечно, рукопись статьи подвергалась рецензированию. Ведь ни у одного из тех, кто оценивал поступившую рукопись, не возникли подобные вопросы. Впрочем, вполне возможно, что как редакция журнала, так и рецензенты рукописи, вообще не считают себя вправе оценивать статистические детали поступающих рукописей, полностью оставляя эти аспекты на совести авторов.

В разделе «Материал и методы» авторы пишут: «Статистическая обработка полученных данных проводилась с помощью программы STATISTICA 6, при использовании t-теста для двух независимых выборок. Результаты представлены как среднее и стандартное отклонение (M ± σ). Статистически значимыми считались различия данных при р<0,001». Положительным моментом можно считать объяснение содержания выражений M ± σ. Однако авторы не провели проверку ограничивающих условий применения t-теста, в результате чего полученные с его помощью выводы нельзя считать надёжными. Далее, авторы никак не обосновывают выбор критического уровня статистической значимости, равного 0,001. В статье используются некорректные выражения со словом «достоверно».[24]

    В разделе «Материал и методы» авторы пишут: «Статистический анализ проводили с помощью пакета программ Statistica 6.0. Для оценки характера распределения в совокупности по выборочным данным использовали тест Колмогорова – Смирнова. Сравнения двух групп из совокупностей с нормальным распределением проводили с помощью t-критерия Стьюдента для двух зависимых или двух независимых выборок. Для анализа зависимости количественных признаков применяли ранговый коэффициент корреляции Пирсона. Результаты представлены как среднее и стандартная ошибка среднего (М ± m). Статистически значимыми считались различия данных и корреляция при р<0,05». Положительным моментом описания можно считать достаточно подробное описание использованных методов статистики. Однако при этом авторы не проводили проверку второго ограничительного условия на использование критерия Стьюдента.

    Кроме того авторы не сообщают, с помощью каких методов и критериев проводилась проверка статистических гипотез в том случае, когда гипотеза нормальности отвергалась. Напомним, что одновременное выполнение обоих условий корректности использования критерия Стьюдента встречайте очень редко. При  наличии же более двух групп сравнения, необходимо было учесть проблемы множественных сравнений, путём уменьшения критического уровня значимости, чего авторы также не сделали. С учётом перечисленных выше причин результаты, полученные с помощью критерия Стьюдента, нельзя считать надёжными. Кроме того авторы путают два типа коэффициентов корреляции: коэффициент Пирсона и ранговый коэффициент Спирмена.  Как и в предыдущей статье, авторы используют некорректные обороты с использованием слова «достоверно». [24]

   В разделе «Материал и методы» авторы пишут: «Применяли методы как параметрической, так и непараметрической статистики. Изучение проводили с учётом «Guidelines for Reporting Morbidity and Mortality After Cardiac Valvular Operations» [3]». Однако при этом авторы не конкретизируют, какие параметрические и непараметрические методы применялись ими, и для проверки каких конкретно статистических гипотез. Отсутствие этой информации не позволяет читателям оценить корректность использования авторами этих методов и критериев, а значит и надёжность полученных авторами выводов. В разделе «Материал и методы» авторы пишут: «При анализе отдалённых результатов основными методами были – метод множительных оценок Kaplan-Meier и метод таблиц и распределения времени жизни, а также регрессионные модели». Однако при этом авторы не уточняют, какие же конкретно регрессионные модели были ими использованы: модели Кокса, или же модели логистической регрессии.[44] Отметим, что для двух этих регрессионных моделей структура результатов совершенно разная. Например, при использовании логистической регрессии, наиболее подходящей в данном случае, результат этого анализа содержит размерные коэффициенты регрессии и достигнутые уровни статистической значимости этих коэффициентов.[44]

   Кроме того, для полученного уравнения оценивается показатель согласия фактических и расчётных частот отнесения наблюдений к тем или иным исходам. Этот показатель называется коэффициентом конкордации. Чем ближе этот показатель к 1, тем адекватнее и точнее модель. Помимо этих показателей данный метод позволяет оценить так называемые безразмерные коэффициенты регрессии, ранжируя которые по их модулю, можно упорядочить предикторы (объясняющие переменные, переменные влияния) по силе их влияния на вероятность того или иного исхода наблюдения. К сожалению, ничего из перечисленного выше, авторы не приводят в тексте статьи. И по этой причине читателям невозможно установить, о каких конкретно регрессионных моделях авторы упоминают в разделе «Материал и методы». Единственное упоминание о результатах использования регрессионного анализа имеет следующий вид: «Для выявления факторов, определяющих величину ПЧГД на этих моделях в отдаленном периоде, мы провели многофакторный регрессионный анализ, в результате которого выявили, что наибольшее (р<0,001) влияние оказывает отношение диаметра протеза к диаметру фиброзного кольца аортального клапана. Зависимость эта имеет обратный характер – чем больше это отношение, тем меньше ПЧГД в отдаленном периоде».  

Из данного описания этого результата нельзя оценить следующие очень важные моменты. 1. Какова структура полученного уравнения (линейная или нелинейная зависимость). 2. Какова величина коэффициента корреляции между зависимой переменной ПЧГД и предиктором, и, соответственна величина коэффициента детерминации, равного квадрату коэффициента корреляции. Например, если коэффициент корреляции в данном случае будет равен 0,5 , то в этом случае коэффициент детерминации будет равен 0,5*0,5=0,25. Т.е. лишь 25% вариабельности  ПЧГД будет определяться вариабельностью указанного признака, включённого в уравнение регрессии. Тогда как остальные 75%  изменчивости ПЧГД будут определяться комбинацией значений всех остальных показателей, в т.ч. и показателей анамнеза, и других показателей.  

    Вот как об этом пишут в близкой по тематике статье «Протезирование аортального клапана бескаркасными протезами  «Кемерово-АБ-Композит Neo»: первый опыт» (Кардиология и сердечно-сосудистая хирургия  2010; 5: 62-66). «Было установлено, что существует статистически значимая зависимость между величиной ПЧГД и методикой имплантации протеза (р=0,02), индексами КДО ЛЖ (р=0,03) и КДР ЛЖ (р=0,004) после операции. Однако фиксированный нелинейный регрессионный анализ с пошаговой моделью позволил выявить, что уровень статистической значимости регрессионных коэффициентов индексов КДР и КДО ЛЖ превышает принятое значение 0,05. Таким образом, наиболее значимым фактором, определяющим ПЧГД в раннем послеоперационном периоде, является методика имплантации бескаркасного биопротеза».  Как видим, в данной статье авторы сообщают, что использовали нелинейный регрессионный анализ с пошаговым алгоритмом отбора предикторов.

Авторы анализируемой статьи «Отдалённые результаты протезирования …» также используют некорректное выражение «Это влияние статистически недостоверно».[24]  Далее авторы сообщают, «Средний срок наблюдения составил в общей группе 52 ± 29 (3–126) месяцев, … », однако при этом не уточняют, какая величина приводится ими после знака « ± ». Также не сообщается и то, какие величины приводятся ими в скобках. Вероятнее всего это минимальное и максимальное значение, а возможно и другие статистики, например, границы доверительного интервала, или квантили распределения, однако, так ли это в действительности, неизвестно.  Если же вновь обратиться к статье «Протезирование аортального клапана бескаркасными протезами  «Кемерово-АБ-Композит Neo»: первый опыт» (Кардиология и сердечно-сосудистая хирургия  2010; 5: 62-66), то там под таблицей авторы пишут: «Примечание. * — данные представлены в виде среднего ± стандартное отклонение (минимум—максимум)». Можно предположить, что требования редакции журнала «Кардиология и сердечно-сосудистая хирургия» более чёткие и конкретные, нежели требования журнала ПКК, содержание которых мы обсудим далее. Либо различие в деталях описания статистических аспектов этих двух статей обусловлено различием авторских коллективов.

Авторы никак не описывают использованные методы статистического анализа собранных данных. При этом уже в аннотации данной публикации приводят выражения «средний возраст составил 42±16,6 лет » и  «0,5 ± 0,1 балла (р=0,037)». Это говорит о том, что вероятнее всего авторы статьи использовали средние баллы, что является некорректно. При этом авторы не извещают читателей, что за величины размещены после знака  ± .

В разделе «Материал и методы» авторы пишут: «Статистическая обработка результатов проводилась на компьютере IBM Pentium 1400 с использованием пакета прикладных программ «Statistica 6.0» фирмы StatSoft Inc., t-критерия Стьюдента. Достоверными считались отклонения р<0,05. Данные расчётов представлены как M ±  δ. Актуарная выживаемость определялась по методу Kaplan Meier». Упоминание марки компьютера «IBM Pentium 1400» не имеет никакого смысла для описания статистической обработки наблюдений. С таким же основанием помимо упоминания тактовой частоты в 1400 мегагерц, можно было перечислить и другие параметры компьютера. Например, число ядер центрального процессора (1, 2, 4, и т.д.) затем объём оперативной памяти, объём жесткого диска, название операционной системы, название материнской платы компьютера, марку винчестера (жёсткого диска), марку монитора, «мышки», и т.д.

   Использование t-критерия Стьюдента без проверки условий ограничения его применения автоматически делает полученные результаты сравнения не заслуживающими доверия. Не объясняют авторы и то, какие величины обозначены ими как  M ±  δ. Если величина «М» вероятнее всего есть среднее, то, что такое « δ » – неизвестно. Это может быть полуширина доверительного интервала (именно таким символом чаще всего в литературе обозначают полуширину доверительного (CI) интервала), либо выборочным стандартным отклонением, либо выборочной ошибкой среднего. Некорректно и использование авторами выражений вида «разница … статистически достоверна».[24]

Авторы приводят выражения вида «M ± m = 32,2±0,4», однако не конкретизируют, что за величины связаны знаком « ± » . В статье часто используются выражения вида «P < 0,05», из чего можно сделать вывод о том, что авторы проводили проверку неких статистических гипотез. Однако при этом авторы скрывают от читателей, как сами проверяемые гипотезы, так и статистический инструментарий их проверки (статистические критерии, проверка условий их использования, критические уровни значимости и т.п.). Не сочли необходимой эту информацию как редакция журнала ПКК, принявшая решение о публикации данной статьи, так и рецензенты. В статье используется некорректные выражения вида «статистически достоверного различия не наблюдалось» [24].

    Следует отметить, что выражения вида  «P < 0,05» используются как в данной статье, так и в большинстве проанализированных выше статей. И это при том, что авторы таких статей отнюдь не рядовые врачи отделения клиник, диспансеров,  или городских больниц. В большинстве случаев это профессиональные исследователи, имеющие кандидатские или докторские степени, профессора, преподаватели медицинских вузов, директора НИИ, или их заместители  по науке, и т.д. То есть это специалисты, имеющие непосредственное отношение, как к науке, так и к преподаванию в вузах. А некоторые из них даже ведут курсы основ доказательной медицины (ДМ). В частности, первый из авторов данной статьи является руководителем курса «Основы доказательной медицины» кафедры внутренних болезней стоматологического факультета Новосибирского государственного медицинского университета. В докладе на Ереванской конференции по ДМ [46] мы также обсуждали другую статью этих авторов. И которой привели несколько примеров некорректного использования статистики.

Обратимся к наиболее известным и доступным изданиям по основам доказательной медицины, таким как «Клиническая эпидемиология. Основы доказательной медицины», авторы Р. Флетчер, С. Флетчер, Э. Вагнер (М.: Медиа Сфера, 1998. – 352 с.), и «Введение в доказательную медицину», автор В.В. Власов (М.: Медиа Сфера, 2001. – 392 с.). Уже от знакомства только с двумя этими книгами становится понятно, что необходимо в публикациях конкретно формулировать какие статистические гипотезы проверяются, и что необходимо не просто записывать P < 0,05, а писать фактические,  достигнутые значения уровня значимости указываемого статистического критерия.

 Вот как пишет об этом в своей книге Президент Общества специалистов доказательной медицины, д.м.н.,  профессор В.В. Власов (стр. 121–123). «Чаще всего исследователя интересует различие, и соответственно речь идёт об отклонении нулевой гипотезы. Поэтому обычно оценивают именно риск принятия ошибочного решения о том, что различие существует (ошибка первого рода, или α–ошибка; табл. 4.1). Этот риск называют α–риском. Для него-то и устанавливается пороговая величина вероятности ошибки р на уровне, традиционно равном 0,05 или 0,01. Публикации легче оценивать, если в них вероятность ошибки р приводится не в отношении значения (р< 0,05), а в виде точной величины (р=0,0017). При использовании современных вычислительных средств точное вычисление р не составляет проблемы; большинство статистических программ позволяют рассчитывать величину р . При р<0,0001 точная величина уже не имеет значения, поскольку для медицинских решений это слишком низкие вероятности. Если вероятность ошибки первого рода близка к пороговой, то при обсуждении различий не может быть разного подхода к случаям, когда р=0,04 и р=0,06. Принцип оценки таких результатов должен быть сходным, несмотря на то, что формально один достигает условного уровня статистической значимости, а другой – нет». 

Итак, когда медики, причисляющие себя к сторонникам ДМ, и ведущие курсы «Основы доказательной медицины»,  допускают столь грубое игнорирование принципов ДМ, то по этим фактам можно судить как об уровне знания ими принципов ДМ, так и об уровне их знаний в статистике.

   «Статистическая обработка полученных данных проводилась с помощью программы Statistica 6.0 c использованием t-теста для двух независимых выборок. Результаты представлены как среднее и стандартное отклонение (M ± σ). Статистически значимыми считались различия данных при р<0,05». Положительным моментом этого описания можно считать конкретизацию величин в выражениях вида M ± σ. Однако выборочное стандартного отклонение следует обозначать не греческой буквой «σ» (сигма), а латинской буквой «s». Поскольку авторы не проводили проверку условий корректного применения t-теста, то выводы, полученные с его помощью, нельзя считать заслуживающими доверия. Учитывая наличие набора различных ЭхоЛГ ЛЖ, а также нескольких групп сравнения, следовало не ограничиваться лишь примитивным сравнением средних в этих группах, а использовать набор многомерных методов статистического анализа.

«Для оценки типа распределения данных использовали параметр Шапиро – Вилка. Применяли методы параметрической статистики. Уровень достоверности принимали равным 0,05. При многофакторном анализе взаимосвязей сначала путем однофакторного изучения выделяли основные параметры, влияющие на исследуемую величину, затем на основании поиска межгрупповых корреляций отсеивали признаки, имеющие умеренную или сильную связь между собой, и проводили многофакторное моделирование взаимосвязей». Авторы сообщают о том, что использовали методы параметрической статистики. Но при этом умалчивают, какие конкретно методы были ими использованы. Учитывая тот факт, что для проверки гипотезы о типах распределения авторы использовали метод Шапиро-Вилка, утверждение об использовании параметрических методах статистики автоматически означает, что все проверки подтвердили ожидаемый закон распределения. Можно предположить, что авторы подразумевали проверку нормальности распределения. Однако одной лишь нормальности распределения для многих методов недостаточно. Например, для использования t-критерия Стьюдента и параметрического дисперсионного анализа (ANOVA) необходимо выполнение и второго ограничивающего условия. О чём авторы не сообщают, на основании чего можно сделать вывод о том, что это второе условие не проверялось.

Не сообщают авторы также и о том, с помощью каких конкретно статистических методов они проводили многофакторный анализ взаимосвязей. Непонятно также и выражение о поиске межгрупповых корреляций. В частности, каким методом оценивались корреляции между группами, и между какими группами. Например, в биостатистике есть метод канонической корреляции. В этом методе оценивается корреляция между двумя группами количественных переменных. В таблице авторы приводят 4 группы анализируемых показателей. Из них 3 группы имеют значения по всем 4 признакам. В этом случае имеем 3 пары групп признаков, для которых может быть оценена каноническая корреляция. Это пары 1-2, 1-3 и 2-3. Однако по имеющей в статье информации невозможно предположить, о каких группах пишут авторы: о группах наблюдений, или же о группах признаков.

Таким образом, использованные авторами статьи туманное и расплывчатое описание статистических аспектов вызывает массу вопросов. Разумеется, такие вопросы возникают лишь у тех читателей, и у членов редколлегии ПКК, которые имеют хотя бы некоторое представление о возможностях статистики. Далее в статье авторы приводят ещё одно описание  использованного ими статистического метода. «Многомерный нелинейный регрессионный анализ взаимосвязей с пошаговой моделью и обязательным контролем межвариантных корреляций показал, что уровень значимости регрессионных коэффициентов индексов КДР и КДО ЛЖ больше 0,05». И в этом описании тоже неясно, какая конкретно регрессионная модель оценивалась авторами. Следует напомнить, что количество нелинейных моделей в принципе в сотни  и тысячи раз больше, чем количество линейных моделей. И уже в силу того, что нелинейные модели сложнее линейных, необходимо приводить более подробную информацию как о структуре модели, хотя бы в самом общем виде, так и давать описание использованных алгоритмов. Например, авторы сообщают об использовании пошаговой модели. Между тем пошаговый алгоритм оценки уравнения регрессии не один, а их несколько. И все они могут давать различные уравнения. Именно поэтому в целях получения оптимального варианта уравнения и следует использовать все эти алгоритмы.

            О чём же свидетельствуют столь краткие описания сложных использованных методов?  В статье «КРАТКОСТЬ – СЕСТРА ТАЛАНТА? ИЛИ ПРИЗНАК НЕЗНАНИЯ?» (http://www.biometrica-tomsk.ru/kuzbass3.htm) , мы называли основные  причины такой краткости. Чаще всего это просто недостаточный уровень знаний авторов об используемых ими методах, либо опасение допустить многочисленные ошибки в более подробном описании использованных методов статистического анализа.

«Статистическая обработка полученных результатов проводилась с использованием программного пакета Statistica 6.1. Для определения статистической значимости различий применялись методы вариационной статистики. Данные представлены в виде средних значений ± ошибка среднего (M ± m). Различия считали достоверными при уровне значимости p<0,05». Положительным моментом данного описания является конкретизация  выражения M ± m, а также указание критического уровня статистической значимости. Однако самая грубейшая ошибка данной публикации заключается в отсутствии перечня конкретных статистических методов использованных авторами. Выражение «Для определения статистической значимости различий применялись методы вариационной статистики» не содержит никакой полезной информации. Действительно, о различии чего, каких параметров, идёт речь? Неизвестно.  

    Далее, бывает ли статистика без вариации? Процитируем фрагмент нашей статьи "Применение статистики в статьях и диссертациях по медицине и биологии. ч. 3" [38]. «В таких работах  вместо конкретных наименований статистических методов и критериев авторы  упоминают лишь одно словосочетание "вариационная статистика", введенное в отечественный оборот Ю.А. Филипченко ещё в 1918 г. [14]. Этот термин возник как неудачный, дословный перевод немецкого слова "Variationsstatistik", которое разумнее было бы перевести как "статистика вариаций" или "статистика изменчивости". Однако уже в тот период ряд авторов использовали словосочетание "биологическая статистика". Закреплению этого неудачного термина  способствовало и издание в 1961 г. книги академика Рокицкого П.Ф. "Основы вариационной статистики для биологов". Однако уже в следующем издании этой книги вышедшей в 1973 г. под названием "Биологическая статистика", автор пишет: "Мы сочли целесообразным отказаться от термина "вариационная статистика". В свое время он был очень распространён, но сейчас употребляется довольно редко, т.к. содержит элементы тавтологии (статистический метод обязательно предусматривает и изучение вариации).

    С другой стороны, применение статистических методов в биологии приобрело такие особенности, что можно с полным правом говорить о биологической статистике как самостоятельной области статистики. Это и явилось основанием назвать книгу «Биологическая статистика» [40]». Таким образом, ещё 40 лет тому назад известный учёный, автор самой популярной книги по статистике в биологии и медицине, академик Рокицкий П.Ф. отказался от неудачного термина «вариационная статистика», и стал использовать более приемлемый термин «биологическая статистика».  Из чего можно сделать вывод о том, что авторы, использующие выражение «вариационная статистика» вообще не подозревают о существовании нового, современного термина. И это же свидетельствует о незнании ими существования книги Рокицкого П.Ф. «Биологическая статистика».

«По возрасту больные и здоровые не различались (p > 1). Статистическая обработка полученных данных проведена с использованием метода вариационной статистики. Определялись среднее арифметическое значение M, средняя ошибка арифметического значения (m) и t-критерий Стьюдента. Различия считались достоверными при p<0,05. Математические расчёты и вычисления статистических показателей проводились с использованием пакета прикладных программ Statistica 6.0». Судя по контексту в выражении "p>1" символ «р» обозначает вероятности, т.е. величину достигнутого уровня статистической значимости при проверке статистической гипотезы о равенстве средних возрастов в группе больных и в группе здоровых. Из чего следует, что авторы статьи не знают, что в современной теории вероятностей величина «р» может принимать значения только в интервале от 0 до 1. Т.е. не существует вероятности более 1. И в этом случае выражение p > 1 просто бессмысленно. Эта статистическая нелепость вызывает большое недоумение ещё и потому, что среди авторов статьи 2 доктора наук. Помимо 2-х докторов наук в авторах статьи также и с.н.с. Института вычислительной техники СО РАН.  Не могут вызывать доверия у читателей статьи и результаты, полученные авторами с помощью t-критерия Стьюдента, поскольку авторы не проводили проверку условий корректности использования данного критерия. Итак, что же это: ошибка авторов, или же это ошибка редакции журнала ПКК?

Нет этих функций, а также и непараметрических методов, и среди всего набора 98 статистических функций пакета Excel.  Ниже в таблице приведены 2 фрагмента (начальный и конечный списки) этого перечня статистических функций.

   Возникает вопрос, зачем же авторам понадобилось убеждать редакцию ПКК, рецензентов и читателей в необходимости изучения ими «вида» (закона) распределения дисперсии? Ведь уже более 100 лет, как известно, что дисперсия подчиняется распределению Пирсона Хи-квадрат. Данное распределение и было предложено Карлом Пирсоном (Pearson) ещё в 1900 году.  Видимо авторы статьи, как редакция журнала ПКК, и рецензенты рукописи данной статьи, об этом не знают. Другая некорректность обсуждаемого выражения заключается в том, что при проверке гипотез о законе распределения, данные гипотезы формулируются не о законе распределения выборки, а о законе распределения в генеральной совокупности (популяции), откуда была извлечена случайная выборка. И если гипотеза нормальности принимается, то это означает, что именно для генеральной совокупности (популяции), а не для выборки, не отвергается гипотеза нормальности. 

    Таким образом, смутное описание авторами выполненных ими статистических процедур не способно вызвать у вдумчивого читателя доверия к авторским результатам. В этой связи возникает вопрос, какова же была цель этой публикации, и на каких читателей ориентировали эту публикацию авторы? Нередко подобные проблемы обусловлены авторским составом данной статьи, в котором на первом месте стоит автор, не имеющий учёной степени, а два доктора медицинских наук расположены ниже. В том, что такое расположение соавторов не определяется азбукой, можно судить по последовательности соавторов практически всех журналов. Тем более что такой порядок расположения соавторов никак не предусмотрен редакционными требованиями.  

 Если сделать несложный поиск в сети интернет, то мы узнаем, что в мае 2012 г. первый соавтор этой статьи защитил в НИИ им. академика Е.Н. Мешалкина кандидатскую диссертацию по теме «ЧРЕСКОЖНАЯ АНГИОПЛАСТИКА, ПРОВОСПАЛИТЕЛЬНЫЕ ФАКТОРЫ И ЭНДОТЕЛИАЛЬНАЯ ДИСФУНКЦИЯ В ЭФФЕКТИВНОСТИ РЕВАСКУЛЯРИЗАЦИИ НИЖНИХ КОНЕЧНОСТЕЙ», научным руководителем которой был второй соавтор статьи. Этот поиск приводит и к статье этих же 3-х соавторов «Воспаление сосудистой стенки и рестеноз после ангиопластики артерий нижних конечностей», опубликованной в журнале «Медицина и образование в Сибири», 2011, № 6. В ней читаем: «Статистическую обработку материала производили по стандатной (так написано в оригинале статьи. В.Л.) программе с вычислением достоверности различий по t-критерию Стьюдента. Связь между исследуемыми параметрами оценивали с помощью коэффициентов корреляции®. Статистически значимыми считали различия более 0,05».  Тогда как в статье «Эндоваскулярная пластика и сосудистое воспаление: взаимосвязь и влияние на развитие рестеноза артерий нижних конечностей» ( ПКК, № 1, 2012, с. 51-55)  эти же самые 3 автора утверждали: «Различия считались достоверными при р<0,05». Не имеет смысла пытаться понять, почему это вдруг в течение одного года 3 автора, 2 из которых доктора медицинских наук, вдруг изменили свою точку зрения в данном вопросе на противоположную. И какой стандарт они подразумевали в выражении «Статистическую обработку материала производили по стандатной программе»?  

Об оригинальности же каждой из двух этих статей, читатели могут судить по следующим фрагментам. Вначале приведём таблицу №1 из статьи «Воспаление сосудистой стенки и рестеноз после ангиопластики артерий нижних конечностей», опубликованной в журнале «Медицина и образование в Сибири», 2011, № 6. А ниже приведём таблицу № 1 из статьи  «Эндоваскулярная пластика и сосудистое воспаление: взаимосвязь и влияние на развитие рестеноза артерий нижних конечностей» (ПКК, № 1, 2012, с. 51-55). 

Затем вверху приведём таблицу из статьи «Воспаление сосудистой стенки и рестеноз после ангиопластики артерий нижних конечностей» авторы Д.Д. Арзамасцев, А.А. Карпенко, Г.И. Костюченко, опубликованной в журнале «Медицина и образование в Сибири», 2011, № 6. А под ней приведём аналогичную таблицу из статьи  «Эндоваскулярная пластика и сосудистое воспаление: взаимосвязь и влияние на развитие рестеноза артерий нижних конечностей» (ПКК, № 1, 2012, с. 51-55).

«Статистическую обработку результатов проводили с помощью программы Microsoft Excel 2000. Достоверность различий средних величин и корреляционных взаимоотношений проводили с помощью t-критерия Стьюдента. Достоверными считали различия при р<0,005».

Некорректности данного описания включают использование t-критерия Стьюдента без проверки условий его использования. Неясно и то, какие конкретно коэффициенты корреляции использовались авторами. Следует отдельно остановиться на особенности тематики данного исследования. Тема исследования бесспорно очень важна и интересна не только с чисто теоретической стороны, но и с практической. Несложно понять, что трудоёмкость и себестоимость формирования массива данных для проведения описываемого анализа весьма велика. Поскольку требует использования очень тщательных и дорогих методик. И уже в силу этого анализ столь ценного массива данных требует не менее трудоёмкого и глубокого статистического анализа. К большому сожалению, авторы исследования ограничились лишь сравнением средних и оценкой корреляции.  Ниже приведён фрагмент статьи, в котором авторы приводят значения корреляций. Однако, не уточняя при этом, что это за коэффициенты.

«Для анализа ультраструктуры митохондрий (МХ) каждый их хорошо видимый профиль оценивали по трехбалльной системе….  Результаты представляли в виде среднего значения и его ошибки. … Статистическую обработку полученных результатов выполняли с применением параметрических методов анализа. Во всех группах достоверность изменений ультраструктуры МС и КМЦ на этапах кардиохирургических вмешательств определяли с помощью t-критерия Стьюдента. Вычисление коэффициента корреляции осуществляли по формулам, рекомендованным медико-биологической статистикой для оценки взаимосвязи между малочисленными группами при малозначных датах [8]».

  Авторы статьи не провели проверку корректности использования критерия Стьюдента. Между тем одновременное выполнение 2 ограничений использования этого критерия встречается в реальной практике весьма редко, примерно в 2-5% случаев. Обратим также внимание на то, что авторы использовали t-критерия Стьюдента по отношению к признакам, которые в принципе не могут нормального распределения. Поскольку анализируемые признаки «оценивали по трехбалльной системе». Т.е. признаки не являлись непрерывными,  ипоэтому для балльных признаков в принципе нельзя применять арифметические операции сложения, вычитания, умножения и деления, которые обязательны при вычислении критерия Стьюдента. Т.е. авторам априорно нужно было использовать непараметрические статистические критерии. Из чего можно сделать заключение об отсутствии  доверия к результатам сравнения средних с помощью этого критерия. Не уточняют авторы и то, какой конкретно вид коэффициента корреляции был ими использован. Учитывая то, что в исследовании использовались балльные показатели, необходимо было использовать ранговый коэффициент корреляции Спирмена. Однако авторы не уточняют, какой именно вид коэффициента корреляции был ими использован.

«Статистическая и аналитическая обработка полученных материалов, стандартизация исследования проводились по критериям методического руководства Сибирского межведомственного регионального Центра по регистру и профилактике инсульта (ННИИПК им. акад. Е.Н. Мешалкина Росздрава и Института вычислительной математики и математической геофизики СО РАН, 2001–2003)».

Это краткое описание использованных статистических методов обработки материалов нельзя признать  удовлетворительным, потому как авторы не сообщают ни выходных данных этого методического руководства, ни названия конкретных использованных методов анализов. Авторы сообщают, «Средний возраст в группах хирургического лечения составил 55±7,1 года и статистически достоверно не различался в подгруппах исследования (р>0,05), по данным дисперсионного анализа ANOVA». Однако при этом ничего не сообщают о проверке двух условий корректности использования метода ANOVA. В силу чего полученные ими с помощью этого методов выводы можно априори считать сомнительными. Поскольку одновременное выполнение 2-х условий корректности в реальной практике встречается крайне редко. Авторы статьи используют выражения вида «59,5±7,7», однако при этом не уточняют, что за величины представлены в таких выражениях.

«Статистический анализ полученных результатов проведён с помощью программы Statistica 6,0. Для оценки характера распределения в совокупности по выборочным данным использовали тест Колмогорова – Смирнова. Сравнение групп из совокупностей с нормальным  распределением проводили с помощью t-критерия Стьюдента для двух зависимых или независимых выборок. Результаты представлены как средние и стандартные ошибки средних (М ± m). Статистически значимыми считали различия данных при р<0,05».

Согласно этому описанию выходит, что все признаки во всех сравниваемых подгруппах имели нормальное распределение, что весьма маловероятно. Кроме того, авторы не сообщают о проверке второго обязательного условия для корректного применения t-критерия Стьюдента. Исходя из этого, следует считать выводы, полученные с помощью критерия Стьюдента, нельзя считать надёжными. Положительным элементом публикации является  конкретизация выражения М ± m, а также использование критерия Колмогорова-Смирнова.

 «Статистическая обработка материала проводилась с помощью программы Statistica 6. Результаты представлены как среднее и среднеквадратичное отклонение (М ± σ). Достоверность различий средних величин определяли по парному и непарному критерию Стьюдента (t). Статистически значимыми считались различия данных при р<0,05».

Авторы не проверяли выполнение условий корректности использования t-критерия Стьюдента. Кроме того, в тексте статьи авторы приводят таблицы с тремя группами сравнения. Из чего следует, что в этом случае необходимо учитывать проблему множественных сравнений, уменьшая для этого величину критической значимости. Однако и этого авторы не делают. Из чего можно сделать заключение о сомнительности выводов, полученных авторами с помощью критерия Стьюдента. Некорректно также и использование авторами выражений типа «достоверные различия».[24]

«Полученные результаты обрабатывались с помощью программы «STATISTICA 6». Учитывая нормальное распределение выборок, использовали Т-критерии для независимых и зависимых выборок, коэффициент корреляции Пирсона. Данные представлены в виде М ± m (среднее значение  ±  стандартная ошибка). Значение p≤0,05 считали статистически достоверным».

    Положительным моментом описания следует считать конкретизацию выражений М ± m, конкретизацию использованного коэффициента корреляции, и указание критического уровня статистической значимости, равного 5%. Однако авторы не сообщают, каким образом они проверяли условия корректного использования критерия Стьюдента. Которые, как известно, заключаются в нормальности распределения в обеих группах сравнения, а также в равенстве генеральных дисперсий. Непонятно, как «учитывалось нормальное распределение выборок»? Напомним также, что проверка гипотез о нормальности закона распределения вероятностей делается С ИСПОЛЬЗОВАНИЕМ ВЫБОРОК, но при этом сама статистическая гипотеза нормальности формулируется НЕ ОТНОСИТЕЛЬНО ВЫБОРКИ а относительно ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ (ПОПУЛЯЦИИ)  из которой извлекались эти выборки. Кроме того, из таблиц, приведённых в тексте статьи, следует, что в анализе использовались 5 групп сравнения: «до операции», «через 2 недели после операции», «через 6 месяцев после операции», «через 12 месяцев после операции», и «через 3 года после операции».  В этом случае необходимо учитывать проблему множественных сравнений, для чего следует уменьшать критический уровень значимости. Чего авторы не делают. В силу чего декларируемые авторами выводы нельзя признать надёжными.

В разделе «Материал и методы» авторы публикации ничего не сообщают об использованных ими статистических методах. Все результаты анализа данных по 264 пациентам представлены в виде 30 выражений типа 56,8  ±  5,8 и более 100 процентных отношений. Есть также и выражения типа «r = 0,497; р = 0,002». Можно предположить, что в данном случае речь идёт о величине коэффициента корреляции. Однако при этом авторы не уточняют, какой конкретно коэффициент корреляции оценивался ими.

«Выявлены достоверные различия частоты встречаемости осложнений после каротидной ангиографии и частоты осложнений после компьютерной ангиографии (р<0,05) по данным дисперсионного анализа для малых выборок (при использовании критерия χ2 и критерия χ2 с поправкой Йетса) [10]».

    Авторы утверждают, что для оценки различия частот в двух группах сравнения (после каротидной ангиографии и после компьютерной ангиографии) они использовали дисперсионный анализ. Однако при этом не уточняют, какие конкретно виды дисперсионного анализа были ими использованы. Ведь помимо классического дисперсионного анализа (ANOVA) существуют и иные виды непараметрического дисперсионного анализа. Также непонятно, почему вместо F-критерия Фишера, применяемого в дисперсионном анализе, ими был использованы критерии критерия χ2 и критерий χ2 с поправкой Йетса? Или это как раз и говорит о том, что авторы использовали, например, двухвыборочный критерий Вилкоксона? При этом авторы дают ссылку на источник [10]: Bernhard V.M. Carotid artery stenosis. Association with surgery for coronary artery disease / Bernhard V.M., Johnson, W.D., Peterson J.J. // Arch. Surg. 1972. — Vol.105. — № 12. — P. 837-840. Однако у всех ли читателей эта статья, опубликованная 40 лет назад в 1972 г., лежит на рабочем столе?

   Если обратиться, например, на сайт самого журнала, где опубликована данная статья, то  для ознакомления с её полным текстом редакция предлагает купить такой доступ. Чем же объяснить нежелание авторов статьи «Хирургическое лечение мультифокального атеросклероза» более полно изложить читателям методику анализа собранных ими данных? А ведь ясное и понятное изложение методики анализа этих данных может служить примером для подражания многим читателям этой статьи, в том числе и их коллегам, только начинающим свои научные изыскания.  Более того, непонятно, как можно использовать дисперсионный анализ, если при наличии двух групп сравнения и некоторого количества различных осложнений очевидным методом сравнения частот является анализ таблиц сопряжённости?  О том, что речь должна идти именно об анализе таблиц сопряжённости говорит и тот факт, что поправка Йетса используется как раз в анализе таблиц сопряжённости.

   Не сообщают авторы и о том, какую величину они размещают после знака « ± » в выражениях вида 51,4 ± 6,2. Внимательное прочтение статьи не обнаруживает также и конкретных результатов использования упомянутых выше методов – дисперсионного анализа, – ни критерия χ2,  ни критерия χ2 с поправкой Йетса, и т.д. Т.е. нет ни самих значений статистических критериев, ни величин достигнутого уровня значимости для этих критериев. И вновь возникает вполне закономерный вопрос, с какой целью авторы статьи перечислили  эти методы и статистические критерии, не приведя при этом никаких конкретных результатов их использования?

    В табл. 1 авторы приводят результаты сравнения для 5 групп.  Авторы ничего не сообщают о том, с помощью каких конкретно статистических методов и критериев проводили сравнение между собой 5 групп. Поскольку в статье неоднократно приводятся выражения p < 0,05 , то из этого можно сделать вывод о том, что авторы приняли в качестве критического уровня значимости величину p=0,05.  Однако, учитывая тот факт, что авторы проводят сравнение между собой 5 групп, то в этом случае необходимо учесть проблему множественных сравнений.  И в этом случае величина критического уровня значимости должна быть значительно понижена.  В статье используются выражения, описывающие результаты сравнения групп и содержащие слово «достоверно», что, в данном контексте, некорректно.[24] Существенным недостатком данной публикации является также полное отсутствие в разделе «Материал и методы» информации об использованных авторами методах статистического анализа имеющихся данных. Как и во многих  других статьях, авторы используют выражения вида 51,5 ± 0,5, не сообщая, однако, при этом, что за величины расположены в них после знака « ± ». 

     В начале раздела «МАТЕРИАЛ И МЕТОДЫ» авторы сообщают: «Для оценки особенностей реакции мозга и формирующихся постишемических изменений мы использовали в качестве клинической модели результаты обследований пациентов, перенесших экстракорпоральное кровообращение (ИК) продолжительностью свыше 120 мин (М ± m =169,4 ± 55,30) при поверхностной (34-33°С) гипотермии тела».

Слева приведён фрагмент раздела «МАТЕРИАЛ И МЕТОДЫ», в котором авторы описывают используемые в работе статистические методы анализа.  В нём авторы сообщают, что они «… определяли значения среднего арифметического (М), стандартного отклонения (а), а также ошибку среднего арифметического (т)». Однако нигде не сказано, что за величина обозначается буквой «m» в выражениях М ± m. Что это – ошибка авторов, или же ошибка технических работников редакции журнала, которые, возможно, не имея электронной авторской версии статьи, набирали её вручную? Авторы также сообщают, что использовали критерий Стьюдента для сравнения  количественных данных в двух группах.  В двух таблицах авторы приводят некие результаты статистического анализа, не упоминая при этом, какими конкретно статистическими методами они были получены. Например, вот как выглядит табл. 1.  

Как видим, в последнем столбце авторы приводят выражения вида р<0,01, <0,05. Данная таблица предваряется следующей информацией: «Для получения ответов на ряд вопросов, связанных с оценкой информативности, частоты встречаемости и достоверности симптомов, признаков или тестов, их значения (или веса) в используемом при ОГИМ клиническом анализе, мы провели факторный анализ (дисперсионный анализ, однофакторная ANOVA-модель)». Обратим внимание, что использование дисперсионного анализа, который авторы называют факторным анализом (см. http://www.biometrica-tomsk.ru/factor.htm), имеет свои ограничения. Эти ограничения идентичны ограничениям при использовании параметрического t-критерия Стьюдента. В частности, это наличие нормального распределения количественного признака ВО ВСЕХ ГРУППАХ СРАВНЕНИЯ, а также равенство генеральных дисперсий этого количественного признака также ВО ВСЕХ ГРУППАХ СРАВНЕНИЯ. Видимо авторы данной статьи не подозревают о существовании данных ограничений, и по этой причине не упоминают о проверке этих ограничений.

     Между тем, количественные признаки, оцениваемые в медицине,  редко имеют нормальное распределение. Этот факт достаточно подробно описан нами в разделе «СТАТИСТИЧЕСКАЯ ВАМПУКИЗАЦИЯ, ОНА ЖЕ ВСЕОБЩАЯ СТЬЮДЕНТИЗАЦИЯ» [42]. Столь же редко встречается и равенство дисперсий. В результате одновременное выполнение обеих этих ограничений встречается лишь в нескольких процентах случаев. Поэтому отсутствие  проверки авторами статьи этих условий не вызывает доверия к выводам, приведённым ими в табл. 1-2. Другой аспект результатов данного исследования заключается в том, что авторы применили методы сравнения средних для 2 и более групп к величинам, которые в принципе не могут иметь нормального распределения. Речь идёт о балльных признаках. Вот как пишут об этом авторы данной статьи: «На каждого пациента составлялись таблицы, куда заносились балльные (количественные) параметры неврологического и нейропсихологического статуса. …. Использовалась 4-балльная шкала оценок нарушений ВПФ по А.Р. Лурия».  Поэтому для балльных признаков должна использоваться не процедура классического однофакторного дисперсионного анализа  – ANOVA, а процедуры непараметрического сравнения групп. Отметим, что в непараметрическом анализе используется несколько статистических критериев, например, критерий Ван дер Вардена, медианный критерий, и т.д.

            Далее авторы пишут: «При анализе значимости показателя взаимной сопряжённости (он же является коэффициентом корреляции Пирсона r) использован в адаптированной методике тест на линейную ассоциацию Mantel-Haensxel».  При этом авторы не дают никакой ссылки на литературный источник с описанием этой адаптированной методики. Между тем, линейная корреляция Пирсона используется для изучения взаимосвязи двух непрерывных, количественных признаков. Тогда как взаимная сопряжённость по Мантелю–Ханзелю относится к анализу таблиц сопряжённости, в которых анализируется взаимосвязь двух качественных, либо ранговых признаков. И по этой причине неясно, о какой методике, связывающей воедино два совершенно различных вида статистического анализа, идёт речь в статье. Отметим также неверное написание фамилии одного из авторов упоминаемого теста. Вот как записываются их фамилии в одной из статей: Mantel, N. and Haenszel, W. (1959), "Statistical Aspects of the Analysis of Data from Retrospective Studies of Disease," Journal of the National Cancer Institute, 22, 719–74.

Далее:   Диагноз: патологическая статистика в кардиологии