Как и многие предыдущие экспонаты, в данной работе также представлены типичные ошибки, которые можно обнаружить и в диссертациях, выполненных в организациях Кемерово, Томск, Омск, Тюмень, Сургут, Барнаул, Новосибирск, Красноярск, Новокузнецк и многих других городов Сибири.

Не обсуждая научную ценность, новизну и актуальность самой темы диссертации, остановимся лишь на статистических аспектах этого экспериментального исследования. Поскольку сформулированные в тексте диссертации выводы базируются на результатах использования статистического анализа полученных экспериментальных данных, попытаемся оценить корректность описанных статистических манипуляций. Прежде чем мы перейдём к этой оценке, напомним читателям отдельные пункты Раздела 2 действующего "Положения о порядке присуждения научным и научно-педагогическим работникам учёных степеней" ВАК РФ.

«Раздел 2. Критерии, которым должны отвечать диссертации, представленные на соискание ученой степени. … п. 8. Диссертация на соискание ученой степени кандидата наук должна быть научно–квалификационной работой, в которой содержится решение задачи, имеющей существенное значение для соответствующей отрасли знаний, либо изложены научно обоснованные технические, экономические или технологические разработки, имеющие существенное значение для экономики или обеспечения обороноспособности страны».

«Раздел 2.П. 9. «Диссертация должна быть написана единолично, содержать совокупность новых научных результатов и положений, выдвигаемых автором для публичной защиты, иметь внутреннее единство и свидетельствовать о личном вкладе автора в науку. Предложенные автором новые решения должны быть строго аргументированы и критически оценены по сравнению с другими известными решениями».

Итак, диссертант должен научно обосновать и строго аргументировать свои научные выводы.

На стр. 55 автор сообщает о том, что статистическая обработка материала "Выполнена при помощи программы Microsoft Excell". Отметим, что правильное название упомянутой программы "Microsoft Excel". Казалось бы какая мелочь, одной буквой больше, одной меньше. В действительности же такая опечатка говорит о многом, в частности о том, что автор не настолько хорошо знаком с данной программой и уже потому к результатам её использования автором следует отнестись с большим вниманием. Ниже автор сообщает "Для определения достоверности различий между двумя средними величинами рассчитывали доверительный коэффициент". Однако автор при этом никак не уточняет как именно вёлся расчёт этого коэффициента, и вообще зачем было необходимо это делать. Т.е. каким образом и для чего данный коэффициент далее использовался в производимых автором статистических манипуляциях? Попытаемся разобраться, какой конкретно смысл может иметь этот оборот - "доверительный коэффициент". Для этого введём в поисковой системе Яндекс выражение "доверительный коэффициент" и получим в ответ сообщение системы о том, что найдено 379 тысяч страниц (поиск проводился 02.01.10). Уже один только этот результат говорит о том, что данный оборот достаточно популярен, и возможно в силу этого автор не счёл нужным каким-то образом пояснять, почему и зачем он использовал этот таинственный "доверительный коэффициент".

Обратимся к одной из полученных ссылок, в частности к ссылке на Яндекс-словари http://slovari.yandex.ru/dict/sociology/article/soc/soc-0337.htm 

Вот что там написано: "Выражение "доверительный коэффициент" используется в статье "Доверительный интервал", в которой, в частности, сообщается следующее: "z _1-α/2 - доверительный коэффициент, соответствующий доверительной вероятности (1 - α); для α= 0,1 доверительный коэффициент z_0,95 = 1,64; для α= 0,05 z_0,975 = 1,96; для α= 0,01 z_0,995 = 2,58."

Во всех остальных ссылках информация о выражении "доверительный коэффициент" аналогична. Т.е. эти коэффициенты табулированы (заданы в таблицах) и не требуют никакого вычисления. Возникает резонный вопрос: так что же и как вычислял диссертант, и зачем, если "доверительный коэффициент" задан в таблицах? Однако диссертант не ограничился использованием одного лишь "доверительного коэффициента". Читаем дальше: "В последующем коэффициент достоверности р определяли по Стьюденту". Таким образом, диссертант в дополнение к "доверительному коэффициенту" использует ещё и "коэффициент достоверности р".

Читаем дальше: "Нулевую гипотезу отвергали в случае р < 0,05". Из чего следует вывод, что нулевую гипотезу отвергали в том случае, если коэффициент достоверности р был менее 0,05. Сразу же возникает сомнение, какая же это достоверность, если она менее 5%. Или же это не величина "коэффициента достоверности р", а нечто иное, например уровень статистической значимости? Вновь обратимся к поисковой системе Яндекс, которая в ответ на оборот "коэффициент достоверности" сообщит нам о наличии 723 тысяч страниц. Причём отметим, что содержание этих страниц весьма разноречиво. Отчего же диссертант не разъяснил, что это за два коэффициента, как и зачем он их использовал, и как их вычислял? Такое умолчание вполне было бы уместно, если бы речь шла не о научной аргументации выводов, а о чём то ином, как, например, в случае с известным телеведущим В. Познером. "Когда его спросили сколько вы зарабатываете, он ответил, что не ваше собачье дело." Полагаю, что в данном случае причина умолчания тривиальна: диссертант просто не владеет азами статистики и путает основные понятия.  Потому и такая неразбериха и путаница в описании статистики. Можно сказать, что подобные описания хорошо иллюстрируют известную фразу М.В. Ломоносова: "Смутно пишут о том, о чем смутно представляют".

Следует отметить также и некорректность использования слова "достоверность" применительно к результатам использования статистических процедур. Такие заключения не могут быть "достоверными" или "не достоверными", поскольку они имеют вероятностную природу. Детально это заблуждение рассмотрено в статье Зорина Н.А. "О НЕПРАВИЛЬНОМ УПОТРЕБЛЕНИИ ТЕРМИНА "ДОСТОВЕРНОСТЬ" В РОССИЙСКИХ НАУЧНЫХ ПСИХИАТРИЧЕСКИХ ИОБЩЕМЕДИЦИНСКИХ СТАТЬЯХ".

Примеры других аналогичных нелепостей смотрите в разделе "Типология описания использованных методов" нашей работы "Долгое прощание с лысенковщиной".

На стр. 57 диссертант приводит таблицу 2, в которой приведена "Частота регистрации ЖНР (желудочковые нарушения ритма) в различные сроки у пациентов с ИМ в зависимости от наличия и выраженности СН". Поскольку в примечании под таблицей сообщается о наличии статистически значимых различий этих частот, то возникает очередной вопрос: каким образом диссертант с помощью критерия Стьюдента, используя пакет Microsoft Excel, сравнивал частоты? Увы, ответа диссертант не даёт. Сделал, и точка! А как именно, никого не касается. Просто поверьте мне, диссертанту, и моему научному руководителю что всё сделано правильно. Но если этот так, то это уже не наука, а религия.

И это не последний вопрос. Как известно, использование критерия Стьюдента имеет 2 ограничения. [1-4] Согласно первому ограничению распределение количественного признака в каждой из групп сравнения должно подчиняться нормальному распределению. Многочисленные исследования свидетельствуют о том, что нормальное рспределение встречается далеко не часто. Вот как пишет об этом известный специалист в области прикладной статистики профессор А.И. Орлов в своей книге ЭКОНОМЕТРИКА (Издательство ЭКЗАМЕН, Москва, 2004. - 576 с.).

"Приведенные описания экспериментальных данных показывают, что погрешности измерений в большинстве случаев имеют распределения, отличные от нормальных. Это означает, что большинство применений критерия Стьюдента, ... строго говоря, не является обоснованным, поскольку неверна лежащая в их основе аксиома нормальности распределений соответствующих случайных величин.

    Очевидно, для оправдания или обоснованного изменения существующей практики анализа статистических данных требуется изучить свойства процедур анализа данных при «незаконном» применении. Изучение процедур отбраковки показало, что они крайне неустойчивы к отклонениям от нормальности, а потому применять их для обработки реальных данных нецелесообразно; поэтому нельзя утверждать, что произвольно взятая процедура устойчива к отклонениям от нормальности". Именно Александр Иванович в своём письме от 4 апреля 1998 г. и обратил моё внимание на эту проблему.

    Второе необходимое условие, это равенство генеральных дисперсий в этих группах.[1-4] Это условие также называется условием однородности дисперсий, или условием гомоскедастичности, буквально равнораспределённости (не путать с равномерным распределением!). Справа приведены типичные гистограммы распределения таких количественных признаков, и результаты их проверки на нормальность.

   Наш 20-летний опыт анализа биомедицинских данных говорит о том, что нормальность распределения количественных признаков в медицине и биологии наблюдается от силы в 10-20 % случаев. А равенство дисперсий в группах сравнения примерно в 30-50 % случаев. Если принять эти оценки, то имеем вывод, что корректное использование t-критерия Стьюдента возможно от силы лишь в 5-10% случаев. Как следует из текста диссертации, такая проверка нормальности и равенства дисперсий не производилась. Это позволяет утверждать отсутствие строгой аргументации и достоверности выводов, полученных на основе статистических манипуляций.

   Вопрос: как проверялись, и проверялись ли вообще, эти ограничения? Позволю высказать предположение, что данные ограничения диссертантом никак не проверялись. Тем более, что в пакете Microsoft Excel нет необходимого для этого статистического критерия. Кроме того, непонятно, как диссертант может проверить нормальность распределения для частот, приведённых в таблице 2?[1-4]

Аналогичные вопросы возникают и при ознакомлении с таблицей 3 на стр. 59. В этих таблицах приведены результаты попарных сравнений с помощью t-критерия Стьюдента. Напомним, что при попарных сравнениях возникает так называемая проблема множественных сравнений. [1-4] Суть её в том, что при увеличении числа сравниваемых пар вместо задаваемой изначально критической значимости, например, 5%, следует использовать новый уровень статистической значимости, равный частному от деления исходного уровня значимости, например, 5% , на число парных сравнений.

  Выше мы уже сказали, что в этом случае для 4-х подгрупп имеем 6 парных сравнений. Т.о. вместо исходного критического кровня значимости равного 0,05 следовало использовать новую величину равную 0,05/6 = 0,008. При этом меняется не только величина критического уровня значимости, но и такой параметр, как число степеней свободы.

    Игнорирование этой проблемы приводит к тому, что исследователь многократно чаще будет обнаруживать статистически значимые различия там, где в действительности их нет. Иными словами, обманывать себя и читателей относительно истинного положения дел. Увы, стерильность в подобных знаниях характерна не только для начинающих исследователей уровня аспирантов, но и для опытных исследователей, облечённых академическими регалиями.

   В ноябре м-це 2009 г. в рамках проводимой в Якутске научно-практической конференции "Роль эпидемиологических и клинических исследований в здравоохранении: планирование, организация, внедрение результатов в практику" мне довелось беседовать с зам. директора по научной работе НИИ медицинских проблем Севера д.м.н., профессором С. В своём докладе она также привела несколько аналогичных парных сравнений. Однако на мой вопрос "Учитывалась ли при этом проблема парных сравнений?" ничего не смогла ответить, т.к. не подозревала о существовании таковой проблемы.

Ниже мы приводим ещё несколько аналогичных таблиц, чтобы показать, что подобные сравнения в работе имеют многочисленный характер.

В качестве примера рассмотрим как можно иначе оценить корректность авторских утверждений о наличии различий между групповыми средними. В частности, рассмотрим лишь один результат из приведённой выше таблицы 4. А именно утверждение диссертанта о различии средних признака "QRS dur, мс" между граппами сравнения I и III. О наличии такого различия свидетельствует присутствие значков **: 119,3 ± 5,4^**I-IIIНа стр. 47 диссертант поясняет, что такое группы I, II и III.

Те. диссертант утверждает что по признаку "QRS dur, мс" имеет место различие средних между группой I и группой III. Для проверки этого утверждения построим двусторонние доверительные интервалы (ДИ) для генерального среднего этого признака в группах I и III. Все необходимые для этого величины диссертант приводит в таблице 4. В частности, есть выборочное среднее, есть ошибка среднего, и есть количество наблюдений (пациентов) в каждой группе.

Напомним, что для построения доверительного интервала необходимо найти полуширину ДИ [1-4]по формуле δ=m*t _{1-α/2; (n-1)} . Где m - ошибка среднего, а t _{1-α/2; (n-1)} - квантиль t-распределения Стьюдента. Построим двусторонний доверительный интервал для уровня значимости р=5%. В этом случае значения двух квантилей распределения Стьюдента для построения двустроннего доверительного интервала будут следующими: t _{0,99; (26-1)} = 2,787 и t _{0,99; (40-1)} = 2,708.

  Проведём необходимые вычисления для первой средней: δ₁=5,4*2,787=15,05. Аналогично  δ₂=5,2*2,708=14,08. В этом случае для первой группы доверительный интервал будет иметь значения 119,3 ± 15,05, т.е. (104,25; 134,35). А для второй группы доверительный интервал будет иметь значения 96,9 ± 14,08, т.е. (82,82; 110,98). Как видим, два 95-процентных доверительных интервала перекрываются между собой. Что позволяет утверждать, что следует принять нулевую гипотезу о равенстве генеральных средних этих двух групп, т.е. различия между генеральными средними нет.

Быть может в Кемеровской государственной медицинской академии вообще не подозревают о существовании этой проблемы? Так нет же! В качестве примера укажем на диссертацию Кашталапа В.В. "Маркёры неспецифических адаптивных реакций у больных острым инфарктом миокарда. Эффекты тромболитической терапии" (КГМА, 2007, специальность 14.00.06 - кардиология). Кстати, и научный руководитель у этого диссертанта тот же самый - доктор медицинских наук, профессор, О.Л. Барбараш. И на стр. 9 автореферата этой диссертации сообщается об использовании к полученным значениям уровня значимости р поправки Бонферрони. Следует отметить, что игнорирование требования равенства двух генеральных дисперсий при использовании t-критерия Стьюдента довольно часто встречается в диссертациях. Типичный пример такого игнорирования представлен в диссертации "Особенности регуляторнометаболических параметров иммунокомпетентных клеток крови у лиц с разным соматотипом" выполненной в упоминавшемся выше Институте медицинских проблем Севера СО РАМН, Красноярск.

Очевидно, что в случае некорректного использования методов статистики для анализа экспериментальных наблюдений нельзя говорить о том, что авторские выводы «научно обоснованы», «строго аргументированы», и "достоверны".

Таким образом, можно констатировать, что диссертант, как и его научный руководитель, проявили отсутствие необходимой квалификации в анализе экспериментальных данных, вследствие чего сформулированные в диссертации выводы научно не обоснованы, и не отвечают критериям, которым должны отвечать диссертации, представленные на соискание ученой степени.

   Всё это даёт основания обратиться в ВАК РФ с предложением провести повторную экспертизу данной работы. Наличие столь неаргументированных заключений в диссертации вызывает также сомнение в компетентности диссертационного совета, принявшего решение по данной работе. Будем полагать, что ВАК РФ учтёт это в своей работе.

Литература

1. Тюрин Ю.Н., Макаров А.А. Анализ данных на компьютере/ Под ред. Фигурнова В.Э. - М.: ИНФРА-М, Финансы и статистика, 1995. - 384 с.

2. Поллард Дж. Справочник по вычислительным методам статистики. М.: Финансы и статистика, 1982. - 344 с.

3. Ермолаев О.Ю. Математическая статистика для психологов. М.: Флинта, 2003. - 336 с.

4. Браунли К.А. Статистическая теория и методология в науке и технике. М.: Наука, 1997. - 408 с.