Тема №13

13 АНАЛИЗ ЗАВИСИМОСТИ ОДНОГО ПРИЗНАКА ОТ ДВУХ

И БОЛЕЕ ПРИЗНАКОВ

Задача: исследовать вид зависимости одного признака (количественного или качественного) от одного или нескольких других признаков (количественных или качественных) с целью прогнозирования значения одного признака по значению одного или нескольких признаков.

Пример: изучить возможность прогнозирования возраста, в котором начнет развиваться некое наследственное заболевание у пациента, по активности фермента в плазме его крови и возрасту, в котором это заболевание началось у родителя пациента.

Решение: регрессионный анализ — один из методов статистического моделирования. Моделью в данном случае является уравнение регрессии, параметры (коэффициенты) которого и рассчитываются в ходе регрессионного анализа.

Регрессионный анализ тесно связан с другими статистическими методами — методами корреляционного и дисперсионного анализа. В отличие от корреляционного анализа, который изучает направление и силу статистической связи признаков, регрессионный анализ изучает вид зависимости признаков, т.е. параметры функции зависимости одного признака (зависимого, объясняемого, исхода, доли больных, ответивших на то или иное вмешательство) от одного или нескольких других признаков (независимого, объясняющего, прогностического, фактора, ковариаты).

В отличие от дисперсионного анализа, с помощью которого исследуется зависимость количественного признака от одного или нескольких качественных признаков, в регрессионном анализе обычно исследуется зависимость (количественного или качественного) признака от одного или нескольких количественных признаков. Кроме того, ANOVA является одним из этапов процедуры регрессионного анализа.

13.1 Классификация методов регрессионного анализа

1. По количеству независимых признаков:

· однофакторный, или простой (один независимый признак);

· многофакторный (два и более независимых признака).

2. По типу математической зависимости:

· линейный (полиномиальная функция первой степени;);

· нелинейный;

· логистический (степенная функция);

· пробит-регрессия';

· экспоненциальная регрессия;

· кусочно-линейная регрессия;

· регрессия пропорциональных рисков по Коксу.

Подчеркнем, что однофакторная регрессионная модель является методом анализа двух признаков — независимого и зависимого. Таким образом, однофакторный регрессионный анализ является методом двумерного анализа данных, как и корреляционный анализ.

Из методов нелинейной регрессии мы рассмотрим лишь множественный логистический регрессионный анализ как наиболее актуальный метод для медицинских исследований.

Этапы построения регрессионной модели следующие:

1) анализ ассоциаций зависимого признака с каждым из независимых путем оценки корреляций и построения двумерных графиков;

2) отбор наиболее сильных ассоциаций;

3) построение регрессионного уравнения.

Цель регрессионного анализа — поиск таких комбинаций независимых признаков, которые "лучше" (в определенном статистическом смысле — более высокого значения коэффициента детерминации R2, меньших значений дисперсии ошибок и т. д.) прогнозируют значение зависимого признака.

В ходе выполнения регрессионного анализа происходит проверка нулевой статистической гипотезы об отсутствии связи признаков. Если нулевая гипотеза отклоняется, то следует принять альтернативную гипотезу о существовании связи признаков.

13.2 Линейный регрессионный анализ

Задача: рассчитать значение (выполнить прогнозирование) одного количественного (объясняемого) признака по значению одного или нескольких других количественных (объясняющих) признаков.

Пример: необходимо найти правило прогнозирования длительности острой фазы инфекционного заболевания по уровню антител в крови и температуре тела.

Решение: линейный регрессионный анализ. При этом происходит построение уравнения следующего вида:

Y= а+bХ (в случае простой линейной регрессии)

или

Y=a+b1 Xl+b2X2+…+bnXn (в случае множественной линейной регрессии),

где Xl X2 …, Хп — независимые (объясняющие) признаки (прогностические признаки),

Y — зависимый (объясняемый) признак,

а — константа,

b1, b2,.... bn — коэффициенты регрессии (в случае простого регрессионного анализа коэффициент b является тангенсом угла наклона регрессионной прямой к оси X).

Условия применимости метода:

· число объектов исследования должно быть в несколько раз больше числа прогностических (объясняющих) признаков;

· все анализируемые признаки (и независимые, и зависимый) должны быть количественными и нормально распределенными;

· зависимый признак Y должен иметь нормальные распределения с равными дисперсиями для каждого значения независимого признака (прогностического признака) Xi,

· независимые признаки Xi могут быть количественными и/или качественными;

· взаимосвязи между каждым из независимых признаков Xi и зависимым признаком Y линейны в интервале изученных значений;

· каждое значение Y независимо от другого для каждого значения каждого Xi

· в случае множественного регрессионного анализа требуется отсутствие сильных линейных корреляций независимых признаков, которые предполагается включать в регрессионный анализ. Если какие-либо из независимых признаков сильно коррелированны, то необходимо включать в регрессионный анализ тот из них, который имеет более сильную корреляцию с зависимым признаком;

· величина Еi — разница между фактическим и прогнозируемым значением зависимой переменной, есть случайная величина с нормальным распределением и нулевым математическим ожиданием;

· все значения Еi не коррелированны между собой и имеют одинаковую дисперсию s2.

Простой и множественный линейный регрессионный анализ в современных статистических пакетах выполняется в модуле «Множественная регрессия» («Linear regression»).

При проведении анализа необходимо указать независимые и зависимый признаки. Можно указать несколько зависимых признаков. В этом случае анализ будет выполняться последовательно для каждого зависимого признака.

В современных статистических пакетах реализованы три процедуры отбора признаков в итоговое уравнение регрессии:

1) стандартная (Standard);

2) прямая пошаговая (Forward stepwise);

3) обратная пошаговая (Backward stepwise).

При выполнении стандартной процедуры множественного регрессионного анализа признаки оцениваются независимо друг от друга и включаются в уравнение все, независимо от силы их относительного влияния на зависимый признак.

При использовании алгоритма прямой пошаговой процедуры вначале в уравнении отсутствуют прогностические признаки. Затем на первом шаге в уравнение регрессии включается тот прогностический признак, который имеет наибольший по модулю частный (парциальный) коэффициент корреляции с зависимой переменной. Далее с использованием уравнения регрессии с этим прогностическим признаком оценивают значения зависимой переменной. После этого из фактических значений зависимой переменной вычитают значения, прогнозируемые по этому уравнению регрессии. Затем оценивают парциальные (частные) коэффициенты корреляции полученных остатков и прогностических признаков, еще не вошедших в уравнение. На каждом из всех последующих шагов один прогностический признак включается в уравнение как наиболее информативный из оставшегося подмножества прогностических признаков. Таким образом, при прямой пошаговой процедуре на каждом шаге включается тот независимый признак, который в наибольшей (по сравнению с другими не включенными в модель признаками) степени (при уже включенных на более ранних шагах процедуры признаках) влияет на зависимый признак.

При использовании обратной пошаговой процедуры в уравнение регрессии вначале включаются (автоматически) принудительно все прогностические признаки, затем на первом шаге удаляется тот прогностический признак, который имеет минимальный частный коэффициент корреляции с зависимым признаком, и т.д.

В пошаговых процедурах обычно существуют следующие возможности:

· установить пороговый уровень статистики F, начиная с которого признаки будут включаться в модель. Это позволяет включать в модель только сильные прогностические (независимые) признаки;

· указать максимальное число шагов процедуры, на каждом из которых в модель включается один признак. Таким образом, можно ограничить число прогностических признаков в модели.

Результаты построения модели выводятся в специальное диалоговое окно.

В данном окне представляются основные расчетные характеристики модели:

· значение р для модели в целом;

· стандартная ошибка оценки (standard error of estimate);

· коэффициенты beta для каждого из независимых (объясняющих) признаков — стандартизованные эквиваленты коэффициентов b;

· значение константы а (свободный член, intercept);

· коэффициент детерминации r2 (в простом регрессионном анализе) или коэффициент множественной детерминации R2 (в множественном регрессионном анализе).

Интерпретация результатов. Полученные результаты можно интерпретировать следующим образом.

· если значение р для уравнения регрессии меньше 0,05, то можно считать, что полученная модель достаточно адекватно описывает взаимосвязь признаков;

· если р>0,05, то регрессионная модель неудовлетворительно описывает взаимосвязь признаков;

· стандартная ошибка оценки модели (Standard error of estimate) показывает степень рассеяния разности между фактическими и прогнозируемыми значениями зависимой переменной;

· коэффициент детерминации r2 (в случае простого регрессионного анализа) является квадратом коэффициента корреляции и показывает, какая часть дисперсии зависимого признака может быть объяснена дисперсией независимого признака. Он имеет значения от 0 (нет связи признаков) до 1 (детерминирующая связь признаков);

· коэффициент множественной детерминации R2 (в случае множественного регрессионного анализа) показывает, в какой степени вариация зависимого признака определяется вариацией независимых признаков, включенных в модель. Чем выше R2, тем лучше регрессионная модель;

· весовые коэффициенты b (beta — их стандартизованный вариант) являются коэффициентами уравнения регрессии. Они показывают, насколько сильно среднее значение зависимого признака Y варьирует с каждой единицей изменения независимого признака X. В случае простой линейной регрессии регрессионный коэффициент (наклон регрессионной прямой) является мерой связи между анализируемыми признаками X и Y. Нулевой наклон (горизонтальная линия на графике) означает отсутствие линейной связи между признаками. Поэтому в ходе регрессионного анализа проверяются гипотезы о равенстве нулю этих коэффициентов;

· если для какого-либо коэффициента bi pi<0,05, то соответствующий признак X является значимым прогностическим для признака Y.

· если р>0,05, то соответствующий признак X не является значимым прогностическим для признака Y.

Замечание. Помните, что результаты регрессионного анализа применимы только к тому интервалу значений данных, на которых они получены. Например, если анализировалась возможность прогнозирования возраста, в котором начнется заболевание, по данным биохимических тестов для лиц 20— 40 лет, и была получена статистически значимая регрессионная модель, то для лиц старше 40 лет использовать эту модель некорректно.

Представление результатов. Привести следующую информацию:

· число объектов исследования;

· описательную статистику (хотя бы М и s) для зависимого и каждого независимого признаков;

· желательно привести результаты предварительного парного корреляционного анализа каждого из независимых признаков с зависимым признаком (с указанием значений р для каждого коэффициента корреляции), а также независимых признаков между собой;

· уравнение регрессии. Если в записи уравнения используются значения нестандартизованных регрессионных коэффициентов b, то необходимо включать в уравнение константу а. Если же используются стандартизованные регрессионные коэффициенты beta, то константа а не включается;

· список безразмерных коэффициентов beta в порядке убывания их значений, поскольку этот список позволяет судить о порядке прогностических признаков (независимых признаков) по силе их влияния на зависимый признак;

· точные значения р и стандартные ошибки для каждого из регрессионных коэффициентов;

· диаграмму рассеяния фактических и рассчитанных (по регрессионной модели) значений зависимого признака и график регрессионной прямой (в случае простого регрессионного анализа). Желательно также отразить линии, соответствующие границам ДИ вокруг линии регрессии.

13.3 Логистическая регрессия как один из методов нелинейного регрессионного анализа

Задача: исследовать связь бинарного признака с одним или несколькими количественными и/или качественными признаками (прогностическими признаками, факторами).

Пример: необходимо прогнозировать возникновение инфаркта миокарда по данным о курении, возрасте, наличии артериальной гипертонии.

Решение: логистический регрессионный анализ.

Логистический регрессионный анализ позволяет строить статистическую модель для прогнозирования вероятности наступления события по имеющимся данным (например, факторам риска). При этом имеющиеся данные по независимым признакам (в нашем примере — курение, возраст, наличие артериальной гипертонии) называются независимыми (объясняющими) признаками. Зависимым признаком Y, в отличие от линейной множественной регрессии, является не само значение зависимого (объясняемого) признака Р, а его логит-преобразование;

logit (P) = ln (P/(l-P)).

Логит-преобразование позволяет вместо значений Р, определенных на интервале [0; 1] перейти к интервалу [-∞; +∞]. Вследствие этого возрастает чувствительность данной функции к изменению комбинаций, сочетаний разнообразных прогностических признаков.

Результатом логистического регрессионного анализа является расчет оценок регрессионных коэффициентов b0 , b1, b2.., … bi уравнения

Y= b0+ b1X1 + b2 Х2 + ... + bi Xi,

где X1... Xi —независимые признаки (факторы риска),

Y= ln (Р/(1-Р)).

Условия применимости метода:

· зависимый признак — качественный бинарный (имеет только два возможных значения: 1 (например, наличие заболевания) и 0 (отсутствие заболевания);

· независимые (объясняющие) признаки — любые (количественные и/или качественные);

· независимые (объясняющие) признаки должны быть независимы также друг от друга, т.е. не должны быть коррелированы или ассоциированы (рекомендуется предварительно провести соответствующий анализ).

Интерпретация результатов. Полученные результаты можно интерпретировать следующим образом.

· Значения коэффициентов bi представляют собой натуральные логарифмы отношения шансов (ОШ) для каждого из соответствующих признаков Xi.

· Значение Y в уравнении регрессии — это натуральный логарифм ОШ для изучаемого события.

· Если для какого-либо из коэффициентов р>0,05, то нулевая гипотеза о том, что ОШi=1, т.е. исследуемый фактор (объясняющий признак) не ассоциирован с изучаемым событием, не отклоняется.

· Если р<0,05 для какого-либо из коэффициентов, то нулевая гипотеза отклоняется, и принимается альтернативная гипотеза о том, что исследуемый фактор (объясняющий признак) ассоциирован с изучаемым событием (бинарным признаком).

Остановимся несколько подробнее на интерпретации ОШ в логистической регрессионной модели. Эта интерпретация такова: при увеличении на единицу значения i-го признака шанс возникновения изучаемого события увеличивается в число раз, равное величине ОШ. Для бинарного независимого признака ОШ — это отношение шанса того, что событие произойдет в одной группе, к шансу того, что оно произойдет в другой группе.

Пример: под наблюдением находились две группы участников исследования: курильщики и некуряшие. Подсчитывалось число случаев возникновения инфаркта миокарда в обеих группах. Оба признака — бинарные, данные могут быть представлены в четырехпольной таблице 13.1:

Таблица 13.1 – Результаты наблюдения

Исследуемые группы | Инфаркт возник | Инфаркта не было
Курильщики | 140 | 220
Некурящие | 50 | 330

Для курильщиков шансы развития инфаркта миокарда составляют 140/220=0,636, а для некурящих — 50/330=0,152; ОШ=0,636/0,152=4,2, т.е. шансы развития инфаркта миокарда у курильщиков в 4,2 раза больше, чем у некурящих.

Если бы ОШ равнялось 1, то это означало бы, что обе группы имеют одинаковые шансы на возникновение инфаркта миокарда. Чем больше ОШ, тем больше вероятность возникновения события, которое случится в группе, описанной в числителе ОЩ.

Представление результатов. Привести следующую информацию:

· описательную статистику для каждого из анализируемых признаков;

· число объектов исследования;

· точное значение р для модели в целом;

· регрессионные коэффициенты bi для независимых признаков Xi точные значения р для каждого из них.

13.3 Проверка работоспособности модели

Результатом регрессионного анализа является создание статистической модели. Как у всякой математической модели, у регрессионной модели следует проверить работоспособность.

Проверка работоспособности многофакторных моделей заключается в оценке их устойчивости и эффективности на разных наборах данных.

Выборка, на которой происходило построение модели, называется обучающей.

Выборка, на которой оценивается работоспособность модели, называется экзаменационной.

Если обучающая выборка велика, то можно разделить ее на две в соотношении 7:3 по числу объектов исследования. Затем построить 2 модели на каждой из них и сравнить.

Применение процедуры «скользящего экзамена» - временное поочередное удаление объектов исследования из набора данных и пересчет параметров модели, а затем сопоставление полученных моделей. Этот метод применяется при наличии трудностей со сбором данных для экзаменационной выборки.

Оценка работоспособности модели на дополнительной экзаменационной выборке.

Создание другой модели на другом наборе сходных данных и анализ идентичности моделей.