В. Леонов

   Логистическая регрессия. Введение.
1. Логистическая регрессия. Основные понятия и возможности метода.
2. Логистическая регрессия. Анализ массивов большой размерности.
3. Логистическая регрессия. Примеры анализа реальных данных.
4. Логистическая регрессия и ROC-анализ.
5. Особенности логистической регрессии в акушерстве.
6. Особенности логистической регрессии в психиатрии, психологии и социологии.
7. Пример использования логистической регрессии для расчёта прогноза исхода оперативного лечения.
8. Логистическая регрессия - "вершина пирамиды". А в "фундаменте" - что?
9. Как повысить качество уравнений логистической регрессии.

В данной серии статей, на уровне доступном для начинающих, рассмотрены цели и направления метода логистической регрессии. В частности, приводятся пояснения, какие надёжные результаты этого метода могут быть использованы для поставленных целей медицинских и биологических исследований. На примерах реальных медицинских массивов данных, поясняется специфика использования данного метода. Объяснено, что метод имеет много алгоритмов оценки уравнений логистической регрессии, что позволяет назходить для использования во врачебной практике самые удобные и надёжные методы лечения. Рассмотрено использование метода к массивам данных, содержащим несколько сотен признаков разной природы. Показано, что корректное создание таких массивов, и их анализ, возможны лишь при участии биостатистиков на самых первых этапах таких исследований. Рассмотрена связь логистической регрессии и ROC-анализа. Приведены многочисленные уравнения логистической регрессии и ROC-кривые, полученные при анализе реальных данных. Объяснена целесообразность использования вместе с методом логистической регрессии набора методов анализа парных взаимосвязей между различными признаками, а также использование более сложных методов многомерной статистики.

Логистическая регрессия. Основные понятия и возможности метода.

При научных занятиях метод
и направление - главное...
Не отыскав верного метода,
не найдя направления,
растеряешь множество времени
и сам растеряешься.
______________________________
Н.И. Пирогов.

Данная статья посвящена методу логистической регрессии и особенностям его применения в медицине и смежных науках. Теория логистической регрессии достаточно сложна, поэтому мы рассмотрели ниже лишь основные понятия этого метода, а также привели небольшой обзор решений, полученных автором в последнее время при анализе реальных данных. Статья  имеет  3 основных цели. Во-первых, познакомить с основными понятиями и возможностями данного метода. Во-вторых, рассмотреть специфику подхода к постановке и решению таких задач, которые могут быть решены с помошью этого метода. В-третьих, продемонстрировать на примере анализа реальных массивов данных типичные результаты, получаемые при использовании этого метода.

N.B.! Перед чтением данной статьи, настоятельно рекомендуем прочитать статью "Логистическая регрессия. Введение"

  В разделе «ДОКАЗАТЕЛЬНАЯ МЕДИЦИНА И СТАТИСТИКА»  (http://www.biometrica-tomsk.ru/kuzbass2.htm ) нашего обзора «Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты» мы уже частично касались возможностей данного метода. Большинство используемых на практике статистических методов можно рассматривать как способы оценки статистической взаимосвязи между двумя или более признаками, переменными. Например, при сравнении средних значений одного количественного признака двух или более групп пациентов (контроль, больные и т.п.), мы изучаем статистическую взаимосвязь между одним группирующим признаком, и одним количественным признаком. В том случае, когда такая взаимосвязь оказывается статистически значимой, возможно оценить также и силу, интенсивность этой связи. Для этого могут быть использованы различные показатели интенсивности такой связи. Как правило, такие показатели имеют значения в интервале от 0 до 1.

  Рассмотрим следующий пример. Изучается влияние прегравидарной подготовки (признак с двумя градациями: 1 – подготовка проводилась; 2 – подготовка не проводилась) на исход родов (признак с двумя градациями: 1 – кесарево сечение; 2 – самопроизвольные роды). Анализ таблиц сопряжённости показал наличие статистически значимой связи этих двух признаков. При этом сила такой связи также может быть выражена различными статистиками, например, коэффициентом контингенции, Фи-коэффициентом, или V-коэффициентом Крамера:
 http://www.biometrica-tomsk.ru/freq1.htm 
 http://www.biometrica-tomsk.ru/freq.htm .

  В очередном примере изучается связь между двумя количественными признаками:  уровнем глюкозы натощак и величиной индекса Homo. Корреляционный анализ показал наличие статистически значимой связи двух этих признаков. Как и в предыдущих примерах, интенсивность этой связи также может быть оценена специальной статистикой, например, коэффициентом корреляции.

Перечисленные выше парные зависимости имеют и вторую ипостась. В них можно оценивать не только показатели интенсивности этой связи, но также оценивать и выражения, с помощью которых по значению одного признака можно оценивать значение второго признака. Точность таких оценок зависит от многих факторов, в том числе и от формы исследуемой взаимосвязи. В подобных парных зависимостях не всегда возможно надёжно указать направление причинно-следственной связи. Нередко оба признака есть следствия множества других причин. Поэтому для их учёта необходимо от парных зависимостей переходить к многомерным методам. В чём принципиальное отличие таких многомерных методов от парных? Рассмотрим это отличие на примере множественной регрессии.

, где a₀ – так называемый свободный член (пересечение), a_i – регрессионные коэффициенты, х_i – предикторы (независимые переменные), е – случайная ошибка. Расширением такой модели может быть выражение вида . В этой полиномиальной модели используются квадраты независимых переменных x_i² , а также эффекты их взаимодействия x_i*x_j .

Если сравнить вторую регрессионную модель с первой моделью, то основное отличие заключается в наличии нелинейных эффектов вида  x_i² и x_i*x_j. Иными словами, первая модель является сугубо линейной моделью, в которой величина зависимой переменной Y равна сумме значений предикторов х_i , предварительно умноженных на некоторые весовые коэффициенты а_i . Тогда как во второй модели помимо таких аддитивных эффектов используются в данной сумме ещё и нелинейные эффекты. Т.е. вторая модель по своей сути является моделью линейно-нелинейной. По своей структуре такая модель занимает промежуточное положение между линейной и нелинейной моделью.

Нелинейные множественные регрессионные модели могут иметь различную структуру. Так одной из наиболее известных нелинейных моделей является мультипликативная производственная функция Кобба-Дугласа, которая была использована в 1928 г. Чарльзом Коббом и Полом Дугласом в работе «Теория производства». В ней авторы попытались выразить взаимосвязь между объёмом выпускаемой продукции Y и объёмами труда и капитала в виде функции Y=A*L^a*K^b. Как видно из этого выражения, нелинейность соотношения между зависимой переменной Y и предикторами L и K обеспечивается не только фактом перемножения предикторов, но также и предварительным нелинейным преобразованием этих предикторов путём их возведения в степень.

Однако подобные нелинейные преобразования возможно применять не только по отношению к предикторам, но и по отношению к самой зависимой переменной Y. Так достаточно популярно в регрессионном анализе использование семейства степенных преобразований Бокса-Кокса, в котором характер нелинейного преобразования зависимой переменной Y определяется величиной параметра  m:

W=(Y^m  – 1)/m, если m равно 0;

W=lnY, m = 0.

Существует достаточно много алгоритмов оценки регрессионных коэффициентов таких моделей.  Например, метод наименьших квадратов, метод наименьших модулей, пошаговые алгоритмы отбора предикторов, ридж-регрессия и т.д. Результатом этих алгоритмов являются уравнения регрессии, по которым можно оценить интенсивность взаимосвязи зависимой переменной Y и подмножества предикторов. Отметим, что для всех многомерных методов, в т.ч. и регрессионных моделей всех видов, отличительной особенностью является поливариантность решений. Т.е. получение по одним и тем же исходным данным некоторого набора различных решений. Различие уравнений в случае регрессионного анализа будет обусловлено как различием используемых алгоритмов, так и различием комбинаций используемых опций (вспомогательных условий) для каждого из этих алгоритмов.

 В случае логистической регрессии (она же логит-регрессия) зависимой переменной Y является дискретный качественный признак, имеющий две или более градаций. Данные градации могут быть закодированы как цифрами, например, 1; 2  и т.п., либо 4; 7; 12 и т.д.,  либо иными символами, например, буквами А; В; С и т.д. Отметим, что кодировка отдельных градаций цифрами (а не числами!) означает, что в этом случае выполняются лишь соотношения «равно» и «не равно», но не выполняются соотношения «больше» и «меньше». К примеру, если закодировать исход лечения как «1=выздоровление», и «2=пациент умер», то это не означает что градация 2 больше градации 1 в два раза.

Основное отличие логит-регрессии от множественной линейной регрессии заключается в том, что в данном методе с помощью полученного уравнения оценивается не само значение зависимой количественной переменной Y, а лишь вероятность принадлежности наблюдения к той или иной градации качественного признака. Простейшей моделью логит-регрессии считается так называемая бинарная логистическая регрессия. В этом случае зависимый качественный признак имеет всего 2 градации, т.е. является дихотомическим. Отсюда и название «бинарная», т.е. имеющая 2 градации.  Отметим, что, как и в случае множественной линейной регрессии, зависимая дихотомическая переменная не обязательно является результирующей с точки зрения причинно-следственных соотношений. Хотя в тех задачах, где полученное уравнение используется в целях прогноза, зависимая переменная чаще всего представляет собой именно следствие воздействия на изучаемую систему комбинации значений, которые принимают предикторы.

Как известно, вероятность может принимать значения в интервале от 0 (невозможное событие) до 1 (достоверное событие). Напомним, что в медицине весьма распространённой ошибкой является использование выражения «достоверное различие». Критический анализ этого ошибочного оборота приведён в статье «О неправильном употреблении термина "достоверность" в  российских научных психиатрических и общемедицинских статьях» (URL: http://www.biometrica-tomsk.ru/let1.htm ). В подавляющем числе случаев в реальной практике исследований вероятность событий находится в интервале между 0 и 1, исключая эти значения. Поскольку данные события не являются ни невозможными, ни достоверными, то их принято назвать случайными.

Рассмотрим набор данных, в котором зависимой переменной будет бинарный признак «Исход лечения» с градациями «1=выздоровление», и «2=пациент умер».  Обозначим вероятность выздоровления пациента как «р». Поскольку сумма вероятностей этих двух исходов должна равняться 1, то вероятность летального исхода равна «1- р».

Далее рассмотрим величину называемую шансом (Ш). В этом случае, например, для значения р=0,9 получим значение Ш = 0,9/(1-0,9) = 0,9/0,1 = 9. Смысл этой величины достаточно очевиден. Чем больше будет значение «р», тем больше будет и значение Ш. И наоборот. Для «р»=0,5 получим Ш = 1.

Следующее преобразование позволит использовать не только положительную числовую полуось, на которой принимает свои значения Ш, но также и отрицательную полуось. Для этого прологарифмируем Ш. Логарифм Ш  принято называть логитом. Название логистической регрессии связано с логистической функцией распределения  (здесь «е» – основание натурального логарифма, равное примерно 2,718282). В логистической регрессии вероятность конкретного исхода, например, выздоровления пациента, можно представить следующим выражением: ,

где Р{(Y=1)|X₁, X₂, … , X_k} – вероятность того, что зависимая переменная Y примет значение 1 (пациент выздоровеет), при условии, что у данного пациента k предикторов приняли следующие конкретные значения: х₁ =X₁, х₂ =X₂, … , х_k=X_k ( здесь: х_j  – j-тый предиктор, X_j – конкретное значение j-того предиктора). Параметр «beta» в данных выражениях вычисляется для конкретного i-того наблюдения с использованием выражения beta= a₀ + a₁*X₁ +  a₂*X₂ + … +   a_j*X_j , где a₀ – свободный член, пересечение (Intercept),  a_j – регрессионные коэффициенты для предикторов х_j, X_j – значение предиктора х_j у i-того наблюдения.

Выражение  может быть представлено иначе. Если разделить числитель и знаменатель дроби на величину e^beta,  то получим идентичное выражение

.

   В тех случаях, когда параметр beta имеет значения равные нескольким единицам, величина вероятности «р» оказывается близкой к 1 или 0. Например, при beta=3 имеем
.

Напротив, при значении beta равном –3, получаем следующее выражение: .  

Логистическая регрессия интенсивно развивалась в последние 30 лет. Метод достаточно сложный и для своего использования требует знания и понимания многих нюансов. Он имеет гораздо меньше ограничений, нежели дискриминантный анализ, и в силу этого его всё чаще применяют для сравнения многомерных группировок наблюдений. Продуктивно использовать его под силу лишь профессиональному статистику. Вот почему об этом как раз и выражают свои подробные мнения учёных из Франции, Германии, Испании и Италии.

   Попытаемся показать потенциальные возможности этого метода и его сложности на примере результатов анализа реальных данных. Эти данные различны не только по объёмам наблюдений и признаков, но и по своей тематической направленности. Различие тематики исследований должно помочь интересующимся данным методом увидеть аналогии с собственной тематикой, и благодаря этому способствовать правильной формулировке целей использования логистической регрессии. В описании приведённых ниже массивов даны реальные названия признаков, использованные при оценке уравнений логистической регрессии. Дискретные, качественные признаки после номера признака имеют дополнительную букву А.  В уравнениях же реальные обозначения признаков заменены условными обозначениями вида A1, A2, …, Aj .   Так в одном из массивов собранном для решения диагностических задач в кардиологии, имеется следующий набор признаков:

Для признака  VAR2A имеются следующие градации: 1="больные", 2="контроль" и 3="старше 60".

Так, для описанного выше массива данных были получены более 10 уравнений логистической регрессии, с показателями конкордации от 82 до 95,8%. Вот как, например, выглядит одно из таких уравнений:

   Выше красным цветом выделены строки для признаков, у которых стандартизованные коэффициенты регрессии имеют достаточно большие значения, т.е. именно эти предикторы оказывают максимальное влияние на оценки вероятностей.

  Количество предикторов в уравнении логистической регрессии говорит о многом. Если обратиться к приведённому выше уравнению, то мы увидим, что в нём присутствует половина всех используемых в исследовании признаков. В этом случае вполне обоснованно говорить о том, что различие подгруппы больных и подгруппы здоровых пациентов имеет достаточно разветвлённую структуру. С другой стороны, это также свидетельствует и о том, что применительно к данному заболеванию выбрана достаточно адекватная система признаков, характеризующих данное заболевание. Об этом же говорит и высокий показатель конкордации. Однако тот факт, что в уравнение логистической регрессии вошла половина всех используемых признаков, вовсе не означает, что при сравнении средних этих признаков для больных и здоровых, мы будем иметь статистически значимые различия. Вполне возможно, что причины включения этих признаков в состав предикторов имеют иную природу, которую мы будем обсуждать ниже в разделе "Логистическая регрессия. Анализ массивов большой размерности".

Рис. 1. Отсутствие значимых различий средних в группах 1 и 2 по признакам Х и Y.

На этот факт мы уже обращали внимание в разделе "ДОКАЗАТЕЛЬНАЯ МЕДИЦИНА И СТАТИСТИКА"  нашего обзора "Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты". Проиллюстрируем это утверждение на рис. 1.

    Для оценки статистической значимости всего уравнения в целом, с помощью метода правдоподобия вычисляется статистика χ². Так, для приведённого выше уравнения эта статистика равна 63,3537, что при числе степеней свободы df=19 даёт достигнутый уровень значимости р<0,001. Т.е. полученное уравнение логистической регрессии адекватно. Другая статистика χ² оценивает с помощью критерия Хосмера-Лемешова качество подгонки, сравнивая наблюдаемые частоты и расчётные. В случае хорошего согласия имеем для этой статистики уровень значимости более 5%. Для приведённого выше уравнения статистика χ²=2,1075, df=6, р=0,9096. Из чего делаем вывод о том, что качество подгонки хорошее. Во всех приводимых ниже уравнениях достигнутый уровень значимости данной статистики также был гораздо более 5%, т.е. качество подгонки было хорошее.

Зависимый признак VAR9A (летальность через полгода) имеет две градации: 1 – выжил, 2 – умер. Проведя оценку коэффициентов уравнения логит-регрессии методом максимального правдоподобия, получили следующий результат:

Как видим, все предикторы имеют статистически значимые коэффициенты регрессии (Pr > ChiSq гораздо меньше критического уровня). При этом стандартизованные коэффициенты, представленные в последнем столбце, говорят о доминирующем влиянии двух предикторов. При данном наборе предикторов процент конкордации равен 82,3%. При использовании пошаговых алгоритмов оценки уравнений, по мере изменения набора предикторов можно проследить динамику изменения процента конкордации.

Ниже представлен фрагмент таблицы, содержащей вычисленные значения параметра beta, а также вычисленные с его использованием вероятности принадлежности каждого пациента к каждому из 2-х исходов.

Из этой таблицы видно, что чем меньше значение параметра beta, тем выше вероятность исхода «умер». И наоборот, чем больше значение параметра beta, тем выше вероятность исхода «выжил».  

В том случае, когда параметр beta имеет значение вблизи 0, вероятности обоих исходов примерно равны.

Очевидно, что для практического использования полученных моделей в целях прогноза, следует стремиться к получению таких уравнений логистической регрессии, в которых процент конкордации будет максимально большим. Первоначально для этого можно опробовать все доступные алгоритмы оценки уравнения логит-регрессии. Далее необходимо выяснить структуру парных связей между зависимой переменной, и каждым предиктором. Одним из возможных путей повышения процента конкордации является изменение набора потенциальных предикторов. Так на основе детального анализа упомянутых выше парных взаимосвязей возможен переход от исходной структуры качественных предикторов к новой структуре этих признаков. Например, использование вместо одного качественного признака с 4 или 5 градациями нескольких новых признаков с меньшим числом градаций.

Хороший эффект может дать и конструирование новых признаков из ранее использовавшихся количественных признаков. Такие признаки могут быть получены как путём линейных или нелинейных преобразований исходных переменных, так и конструированием новых признаков, содержащих эффекты взаимодействия исходных показателей.Так использование перечисленных выше возможностей позволило в итоге повысить для данного массива значение процента конкордации от 82,3% до 97,8% . Как правило, для получения уравнений с высокими значениями процента конкордации приходится оценивать до нескольких десятков или сотен уравнений, из которых путём последовательной корректировки опций алгоритмов оценки удаётся получить несколько таких уравнений.

 Имея в своём распоряжении такое уравнение, врач может определить, значения каких конкретно предикторов необходимо скорректировать определёнными вмешательствами, чтобы увеличить вероятность желательного исхода, например, повысить вероятность исхода «пациент выжил». Рассмотрим другой реальный пример использования логистической регрессии. Массив данных из 561 наблюдения (http://www.biometrica-tomsk.ru/rus_dasl.htm) содержит следующие показатели:

Признак VAR1A имеет 2 градации: 1=«здоровые дети», и 2=«больные дети». Ниже представлено один из результатов оценки уравнения

Как видим, все коэффициенты уравнения статистически значимы (достигнутый уровень значимости Pr > ChiSq значительно меньше критического уровня). Отметим, что максимальный модуль коэффициента регрессии имеет признак A3. Причём, все коэффициенты уравнения отрицательны, за исключением свободного члена. Процент конкордации для данного решения равен 94%. Если отсортировать наблюдения по величине параметра beta (Value of the Linear Predictor), то увидим следующую картину:   

Одной из важных задач, встречающихся в медицинской практике, является надёжная диагностика заболевания. Некоторые заболевания достаточно трудно диагностируемы. Одним из таких заболеваний является тромбоэмболия лёгочных артерий (ТЭЛА). Очень часто данное заболевание проявляет себя после полостных операций. Массив, список переменных в котором приведён ниже, собран сотрудницей Томского НИИ кардиологии О.В., занимающейся исследованием данной патологии

Многие из приведённых выше дискретных, качественных переменных могут быть использованы в качестве зависимой переменной. Остановимся на случае, когда зависимой переменной будет признак V53OM="Массивная ТЭЛА". Данный признак имеет 2 градации: 1 - есть массивная ТЭЛА, и 2 - нет массивной ТЭЛА. Одно из уравнений, полученных для этой зависимой переменной, приведено ниже.

                                       Standard    Wald                         Standardized

Parameter  DF  Estimate   Error   Chi-Square   Pr > ChiSq       Estimate

Следующий массив, созданный исследователем П.К. из Хабаровска, содержал 43  признака, список которых приведён ниже.

   В данном исследовании зависимым признаком являлся признак GRUPPA, имеющий 5 градаций: 1 – компенсированный стеноз, 2 – субкомпенсированный стеноз (гипермоторный вариант), 3 – субкомпенсированный стеноз (гипомоторный вариант), 4 – декомпенсированный стеноз, и 5 – контрольная группа (норма). При сравнении между собой 4-х видов стеноза были получены уравнения логистической регрессии, одно из которых приведено ниже.

Данное уравнение обеспечивало показатель конкордации равный 96,7%. Как видно из приведённой выше таблицы, в этой модели доминируют 2 предиктора.

  В следующем массиве, созданном исследователем М.О. из Челябинска, было 176 наблюдений с 25 признаками. Список переменных приведён ниже.

 Одной из задач исследования было сравнение группы пациентов с хронической почечной недостаточностью с контрольной группой здоровых. Ниже приведено одно из многих полученных уравнений логистической регрессии, содержащее результаты такого сравнения.

Данное уравнение обеспечивало уровень конкордации равный 89,1%.

Итак, при использовании метода логистической регрессии в реальных исследованиях всегда имеется возможность получения определённого множества моделей взаимосвязи зависимого признака, с подмножеством предикторов. Все эти модели можно анализировать и сравнивать между собой, выделяя в полученных уравнениях предикторы с максимальными абсолютными значениями регрессионных коэффициентов, и максимальными значениями показателя конкордации. В случае использования полученных моделей для повышения вероятностей положительных исходов, необходимо оценить подмножества предикторов всех уравнений, чтобы выбрать уравнения с предикторами, наиболее доступными для корректировки их значений доступными в лечебной практике медицинскими технологиями.

Далее: 2. Логистическая регрессия. Анализ массивов большой размерности