Сравниваем средние, а также и ...

В. Леонов

Читай не затем, чтобы противоречить и опровергать;
не затем, чтобы принимать на веру;
и не затем, чтобы найти предмет для беседы;
но чтобы мыслить и рассуждать.
____________
Фрэнсис Бэкон

Оглавление

1. Нормально и не нормально…
2. Как возникает нормальное и не нормальное распределение
3. А сколько этих взаимозависимостей?
4. Сравниваем средние, дисперсии,  и т.д.
5. Что сравнивать в корреляции и регрессии?
6. Заключение. Список литературы

Как возникает нормальное и не нормальное распределение

Мы можем столько, сколько мы знаем.
____________
Фрэнсис Бэкон.

    Напомним, что нормальный закон распределения был одним из первых, установленных в теории вероятностей законов. История появления теории этого закона распределения весьма интересна. Если сделать в Яндексе поиск на фразу «нормальный закон распределения», то будет обнаружено 6 млн результатов и 4973 показа в месяц! (NB! С течением времени результаты запросов в Яндексе постоянно изменяются, увеличивая или уменьшая количество найденных ссылок и количество месячных показов. Так за полгода написания данной статьи, количество ссылок увеличивалось или уменьшалось на 1-2 млн., а число показов в течение одного месяца на 1-2 тысячи).

  Наконец, далее обсудим, почему же чаще всего анализируемые количественные признаки не подчиняются нормальному закону. Для чего рассмотрим основные причины возникновения, как нормального закона распределения, так и не нормальных законов. Причём те причины, которые содержат в себе весьма ценную и полезную для исследователей информацию. И затем обсудим другие, важные статистические гипотезы, которые весьма полезно и целесообразно проверять в проводимых исследованиях. Закончим же данную статью описаниями тех полезных и продуктивных методов статистического анализа, которые необходимо производить после фиксации как нормальных, так и не нормальных распределений.

    До описания нормального распределения вероятностей, хочется отметить тот факт, что в  странах с уровнем развития науки гораздо выше, чем  в России [28], изучение понятий  теории вероятностей и статистики, давно уже начинали в начальных классах школ. Так в 70-80 годы 20 века в Японии основы  теории вероятностей начинали изучать уже в 3-4 классах.
«До недавнего времени Россия оставалась одной из немногих стран с развитой системой образования, где вероятностно-статистические знания практически всегда оставались за пределами школьного обучения. С наступлением 21 века мы окончательно убедились в неотвратимости пришествия в среднюю школу стохастики, изучающей случайные явления. Идея введения в школьную математику элементов теории вероятностей и статистики, является привлекательной для наших педагогов. С другой стороны, большинство из них слабо представляют содержательно-методические основы обучения стохастики в школе, по этой причине многие с настороженностью и недоверием относятся к данному нововведению»  [56].

1. Бунимович, Е.А. Вероятность и статистика: 5–9 кл.: пособие для общеобразовательных учебных заведений / Е.А. Бунимович, В.А. Булычев.– М.: Дрофа, 2002.– 160 с.
2. Математика. Алгебра. Функции. Анализ данных. 9 класс: учеб. для общеобразоват. учеб. заведений / Г.В. Дорофеев, С.Б. Суворова, Е.А. Бунимович и др.; под ред. Г.В. Дорофеева.– М.: Дрофа, 2000.– 287 c.
3. Мордкович, А.Г. События. Вероятности. Статистическая обработка данных: дополнительные параграфы к курсу алгебры 7-9 кл. общеобразоват. учреждений / А.Г. Мордкович, П.В. Семенов.– М.: Мнемозина, 2003.– 112 c.
4. Ткачева, М.В. Элементы статистики и вероятность: учебное пособие для учащихся 7–9 классов общеобразовательных учреждений / М.В. Ткачева, Н.Е. Федорова.– М.: Просвещение, 2004.– 112 c.

   Необходимость более раннего изучения основ теории вероятностей и статистики понимают во многих развитых странах, в том числе и в США. Стивен Строгац, известный американский преподаватель прикладной математики в Корнелльском университете США  (один из ведущих технических вузов мира), в своей очень популярной книге «Удовольствие от » [76] пишет следующее. «С появлением интернета, электронной торговли, социальных сетей, проекта по расшифровке генома человека, а также в связи с развитием цифровой культуры, в целом мир стал захлёбываться в данных. … Каждый стремится объединить точки в график и обнаружить закономерность в беспорядочном скоплении данных. Неудивительно, что эти тенденции отражаются и в обучении. ‘Давайте обратимся к статистике’, — увещевает в своей колонке газеты New York Times Грег Мэнкью, экономист из Гарвардского университета. ‘В учебной программе по математике в средней школе слишком много времени уделяется традиционным темам, таким как евклидова геометрия и тригонометрия.

  Эти полезные для обычного человека умственные упражнения, однако, малоприменимы в повседневной жизни. Учащимся было бы гораздо полезнее больше узнать о теории вероятности и статистике’. Дэвид Брукс идёт ещё дальше. В своей статье, посвящённой дисциплинам, заслуживающим внимания для получения достойного образования, он пишет: ‘Возьмите статистику. Вот увидите, окажется, что знание того, что такое стандартное отклонение, вам очень пригодится в жизни’.

Вполне вероятно, а ещё неплохо разбираться в том, что такое распределение. Это первое, о чём я намерен поговорить. И хотел бы заострить на нём внимание, поскольку в этом заключается один из главных уроков статистики: вещи кажутся безнадёжно случайными и непредсказуемыми при рассмотрении их по отдельности, однако в совокупности в них обнаруживается закономерность и предсказуемость.

Возможно, вы видели демонстрацию этого принципа в каком-нибудь научном музее (если нет, видеоролики можно найти в интернете). Типичный экспонат представляет собой приспособление под названием доска Гальтона, которая чем-то напоминает автомат для игры в пинбол, только без флипперов. Внутри его с равными интервалами располагаются ровные ряды штырьков» [76]. На странице 182 данной книги Стивена Строгаца «Удовольствие от » , приведено следующее изображение упомянутой  доски Гальтона:

Итак, доска Гальтона… Об её популярности говорит результат запроса «доска Гальтона» в Яндексе: 41 тысяча ответов!

Напомню, что результаты запросов постоянно изменяются. И если 19 ноября 2016 г. на этот запрос Яндекс выдавал результат на 41 тысячу ответов, то 12 декабря результат был совершенно иной: 17 млн результатов! Что говорит о повышении интереса к этому понятию, и росту частоты аналогичных запросов.

Вот описание этого устройства в Википедии. «Доска Гальтона (англ. Galtonbox, также распространены названия квинкункс, quincunx и beanmachine) — устройство, изобретённое английским учёным Фрэнсисом Гальтоном (первый экземпляр изготовлен в 1873 году, затем устройство было описано Гальтоном в книге Naturalinheritance, изданной в 1889 году) и предназначающееся для демонстрации центральной предельной теоремы)». Далее приводится весьма ясное и понятное описание функции биномиального распределения вероятности, и его связи с нормальным распределением. Одна из ссылок Яндекса указывает на коллекцию картинок с доской Гальтона. Рекомендуем посмотреть их, чтобы сформировать у себя ясное понимание сути этого уникального устройства – доски Гальтона.  Если же сделать в Яндексе поиск на выражение «доска Гальтона своими руками», то получим ответ, что нашлось 141 тысяча результатов!

Первый адрес в этом списке на работу [73], представленную на Научно-практическую конференцию «Прикладные и фундаментальные вопросы математики» (Пермь, 2015 г.). Ниже приведён фрагмент экрана с данным результатом этого поиска:

Настоятельно рекомендую прочитать эту несложную для понимания статью, в которой достаточно ясно и понятно описывается причина возникновения нормального распределения. Также рекомендую читателям обратить внимание и на то, кто является автором этой весьма интересной и полезной статьи.

Второй адрес в этом списке на видео [57]. Ниже приведён фрагмент экрана с данным результатом этого поиска:

Рекомендуем также просмотреть ещё как минимум 10 наиболее популярных ссылок в данном поиске. А также ссылки на биномиальное распределение  и треугольник Паскаля. Отметим, что формула биномиального распределения весьма простая, а в статье Википедии "Треугольник Паскаля. Материал из Википедии — свободной энциклопедии" приводятся коэффициенты биномиального распределения. Поиск на запрос «биномиальное  распределение  видео» даёт результат в 138 тысяч ссылок! Посмотрите самые популярные эти видео, в которых очень доступно и понятно объясняют природу этого распределения.

    Познакомившись с описаниями биномиального распределения, станет понятно, каким же образом возникает нормальное распределение вероятности значений у изучаемых количественных признаков. В частности, во всех подобных описаниях, указывается на взаимосвязь биномиального и нормального распределения. Так, в статье [10] написано следующее: «Если  n большое, то в силу центральной предельной теоремы Bin (n,p) ≈ N(np,npq), где Bin (n,p) – биномиальное распределение с параметрами  n и p;  N(np, npq) — нормальное распределение с математическим ожиданием np и дисперсией npq». (Здесь: n – число независимых случайных экспериментов, p – вероятность результата, и  q=1 – p). То есть при увеличении параметра n биномиальное распределение устремляется к нормальному  распределению.

    В видео [57]  в качестве примера такого перехода биномиального распределения в нормальное, приводится пример с доской Гальтона. И там говорится, что уже при  n  равном 10, это биномиальное распределение уже весьма близко к нормальному. Теперь вновь обратимся к статье [73]. В статье всего 12 страниц, на которых приведена одна формула функции плотности нормального распределения вероятности, одна формула синуса в треугольнике, и 18  рисунков. На этих рисунках представлены доски Гальтона, и 6 гистограмм распределения зёрен в этих досках, одна из которых приведена ниже.

На горизонтальной оси таких гистограмм представлены значения признака, а по вертикальной оси – частоты наблюдений. Как видим, представленная выше гистограмма отражает симметричное, близкое к нормальному, распределение. «Нормальное  распределение, также называемое распределением Гаусса — распределение вероятностей, которое в одномерном случае задаётся функцией плотности вероятности, совпадающей с функцией Гаусса:

        (1)

где параметр µ — математическое ожидание (среднее значение), …  а параметр  σ — среднеквадратическое отклонение ( σ² — дисперсия) распределения».

Таким образом, одномерное нормальное распределение является двухпараметрическим семейством распределений.

    Сделав в Яндексе запрос на выражение «нормальное распределение», получим 5 млн результатов, при 20 тыс. показов в месяц. Что говорит о весьма большой популярности этой темы. Подробное описание нормального распределения дано в Википедии. Огромное количество графических изображений данного распределения, также можно просмотреть в результате поиска в Яндексе.

Рассмотрим особенности приведённого выше выражения  (1)  функции плотности нормального распределения. Это выражение состоит из двух сомножителей. Значение первого сомножителя, равного 

, зависит от величины среднеквадратического отклонения сигма (σ). Чем меньше его значение, тем больше величина этой дроби. И наоборот. То есть при малых значениях σ кривая функции распределения f(x) будет иметь большую высоту, и малый интервал рассеяния (разброса). А при больших значениях σ– малую высоту, и большой интервал рассеяния (разброса). Поскольку этот интервал рассеяния (разброса) значений признака, по своей длине фактически равен ±3σ. То есть расстояние от минимального значения до максимального, фактически равно 6σ. Обратим внимание также на особенность второго сомножителя . Поскольку в числителе показателя степени экспоненты находится квадрат разности, то это порождает симметричность функции нормального распределения. То есть данное выражение будет иметь одно и тоже значение, когда значение переменной Х будет меньше, или больше математического ожидания µ, на одну и ту же величину. Например, если µ = 5, а Х= 3, то значение (Х – µ)² будет равно (3–5)*(3–5)=(-2)*(-2)=+4. Точно также, если  Х= 7, то значение (Х– µ)² будет равно (7–5)*(7–5) =(+2)*(+2)=+4.

    Итак, имеется 3 особенности нормального распределения. Во-первых, наличие двух параметров распределения – среднего и среднеквадратичного (стандартного) отклонения. Во-вторых, экспоненциальная функция плотности вероятностей значений числового признака, с квадратичными числителем и знаменателем, симметрична относительно среднего значения. В-третьих, высота кривой данной функции, и интервал наиболее вероятных числовых значений, зависят от величины параметра σ.

    Ниже приведём два  наиболее показательных графика с функциями плотности нормального распределения. На первом графике отчётливо видно изменение расположения кривой функции плотности и её максимума, в зависимости от значений двух параметров µ и σ.  

А на следующем графике отражена весьма важная особенность функции плотности нормального распределения, называемая правилом 3 сигм, т.е. правилом 3 стандартных (среднеквадратичных) отклонений.

      Причём вначале наблюдается переход к бимодальному (с двумя модами; мода – значение с максимальной частотой),  а затем к асимметричному распределению. При этом данная динамика преобразования вида распределения ясно и доступно объясняется возникновением зависимости от специально созданного в доске Гальтона приспособления. Именно этот нюанс очень важен! Наличие у количественных признаков не нормальных распределений, по сути, является информацией о том, что данный количественный признак имеет достаточно сильные зависимости от других исследуемых признаков.

   Структуры этих связей таковы, что эти зависимости влияют на частоты наблюдений в разных областях значений исследуемой количественной переменной. Так, например, в приведённом выше графике увеличиваются частоты в правой стороне горизонтальной оси. И одновременно снижаются частоты наблюдений в левой стороне горизонтальной оси. Такая асимметрия есть лишь один из признаков отличия от нормального распределения.Другой признак не нормального распределения относится к симметричности распределения, но у которого имеется существенное отличие формы вершины этого распределения. В частности, на графике, или на гистограмме, вершина распределения с максимальными вероятностями или частотами, может быть очень острой и очень высокой, либо напротив, очень плоской и невысокой.

  Ниже приводится  гистограмма с плоской вершиной, которая контрастирует с красной кривой функции плотности распределения вероятности красного цвета, отвечающей нормальному закону распределения. Непосредственно под графиком, в двух первых строках, приведены результаты проверки нормальности с помощью критериев Колмогорова-Смирнова (K-S) и Шапиро-Уилка (SW), и основные дескриптивные (описательные) параметры. Данный признак SP был в  массиве данных исследователя G.L. (Германия), который мы анализировали в 2001 году.

Признак SP: K-S: D = 0,0725; p < 0,0100; Lilliefors - p < 0,01; SW-W = 0,9806; p = 0,00000
N = 708; Mean = 105,2302; StdDv = 12,3385; Max = 133; Min = 76;  

Как видим, проверка гипотезы нормального распределения значений признака SP  даёт значение критерия Колмогорова-Смирнова (K-S)  D = 0,0725; p < 0,0100, в том числе с поправкой Лиллиефорса (Lilliefors), даёт уровни статистической значимости менее 1%. Т.е. гипотеза нормального распределения отклоняется. И критерий Шапиро-Уилка (SW), значение которого W = 0,9806 , также отклоняет гипотезу нормального закона для распределения значений признака SP.

   В статье [38] мы приводим второй пример симметричного, но не нормального распределения. Ниже на рисунке приведены гистограммы распределения двух  групп. В группе 1 распределение нормальное. А данные группы 2 получены из данных первой группы, путём вычитания и прибавления одного и того же числа к каждой половине отсортированных наблюдений. В результате во второй группы среднее значение и дисперсия равны этим же параметрам из первой группы, также симметрично распределение,  но оно не является нормальным, а имеет две моды (слева и справа).

Далее мы объясним, что основными причинами генерации подобных не нормальных распределений, являются различные виды зависимостей между конкретным количественным признаком, и набором других качественных и количественных признаков.

Поэтому констатация не нормального распределения, по сути, есть надёжное сообщение о том, что данный количественный признак имеет существенные взаимосвязи, зависимости с некоторыми иными признаками.

Следовательно необходимо составить набор потенциально взаимосвязанных признаков, и произвести анализ этих возможных взаимосвязей. При этом, вполне естественно, что некоторые связи будут установлены как статистически значимые, а другие – не значимыми. Проверку гипотезы нормальности одновременно в нескольких группах, очень удобно иллюстрировать двумя видами графических изображений. В частности, кроме гистограммы также представлять стандартный график Normal Probability  Plot,  который реализуется практически во всех статистических пакетах. Теория построения так называемой обратной нормальной кумулятивной функции распределения, подробно описана в разделе Help всех статистических пакетах, в которых строятся эти графики. Эти графики отражают специфику распределения в сравниваемых группах. Ниже представлены 4 графика двух количественных признаков, полученных для двух сравниваемых групп массива данных K.N.H.

Как видим, специфика распределения числовых значений признака в сравниваемых группах, отражаемая на групповых гистограммах, также наглядно отражается и на графиках Normal Probability  Plot. Используя эти графики, можно оценить, какие конкретные значения анализируемого количественного признака существенно отклоняются от сравниваемого нормального распределения. Что, соответственно, отражает специфику обнаруженной взаимозависимости.

Далее: А сколько этих взаимозависимостей?

На файле "Поиски методов или результатов статистического анализа" сообщается, что сейчас на сайте БИОМЕТРИКА размещено 4162 htm-файлов, 651 pdf-файлов, 152 djvu-файлов, и т.д. И там же приводятся описания групп конкретных файлов. В частности по методам статистического анализа, их отличным результатам, отзывам авторов, книгам этих методов, статистике посещаемости сайта БИОМЕТРИКА, и т.д. Далее приведено подробное пояснение поиска нужных файлов системой Google, которая там же и помещена. А после системы Google размещены популярные 341 htm-адресов и 79 адресов pdf-адресов. Итак, для оперативного выбора конкретного нужного файла на данном сайте БИОМЕТРИКА , рекомендую перейти на файл "Поиски методов или результатов статистического анализа".