Сравнение коэффициентов логистической регрессии по моделям?

11

Я разработал модель logit для применения к шести различным наборам данных поперечного сечения. Я пытаюсь выяснить, есть ли изменения в существенном влиянии данной независимой переменной (IV) на зависимую переменную (DV), контролирующую другие объяснения в разное время и во времени.

Мои вопросы:

Как мне оценить увеличение / уменьшение размера в ассоциации между IV и DV?
Могу ли я просто посмотреть на различные величины (размеры) коэффициентов по моделям или мне нужно пройти какой-то другой процесс?
Если мне нужно сделать что-то еще, что это такое и можно ли это сделать / как мне это сделать в SPSS?

Кроме того, в рамках одной модели,
Могу ли я сравнить относительный размер независимых переменных на основе нестандартных оценок, если все они закодированы 0-1, или мне нужно преобразовать их в стандартизированные оценки?
Есть ли проблемы, связанные со стандартизированными баллами?

logistic spss Эйс
источник

2

Эта статья может представлять интерес, dx.doi.org/10.1093/esr/jcp006 , очевидно, что сравнение эффектов между моделями логистики значительно сложнее, чем в случае OLS!

Энди W

13

Я сосредоточусь в основном на ваших первых трех вопросах. Краткие ответы таковы: (1) вам нужно сравнить влияние IV на DV для каждого периода времени, но (2) только сравнение величин может привести к неправильным выводам, и (3) есть много способов сделать это, но нет единого мнения о том, какой из них является правильным.

Ниже я опишу, почему вы не можете просто сравнить величины коэффициентов и указать на некоторые решения, о которых до сих пор думали.

Согласно Allison (1999), в отличие от OLS, на коэффициенты логистической регрессии влияет ненаблюдаемая неоднородность, даже если такая неоднородность не связана с интересующей переменной.

Когда вы подходите логистической регрессии, как:

(1)

\ln (\frac{1}{1 - p_{i}}) = β_{0} + β_{1} x_{1 i}

$\ln\bigg(\frac{1}{1-p_i}\bigg) = \beta_{0} + \beta_{1}x_{1i}$

Фактически вы подбираете уравнение, предсказывающее значение скрытой переменной которая представляет основную склонность каждого наблюдения к принятию значения в двоичной зависимой переменной, что происходит, если выше определенного порога. Уравнение для этого (Уильямс, 2009): $y^*$ $1$ $y^*$

(2)

y^{*} = α_{0} + α_{1} x_{1 i} + σ ε

$y^* =\alpha_{0} + \alpha_{1}x_{1i} + \sigma \varepsilon$

Предполагается, что термин не зависит от других терминов и следует логистическому распределению - или нормальному распределению в случае пробита и логистическому распределению в случае дополнительного log-log и распределению Коши в случае cauchit. $\varepsilon$

Согласно Williams (2009), коэффициенты в уравнении 2 связаны с коэффициентами в уравнении 1 через: $\alpha$ $\beta$

(3)

β_{j} = \frac{α_{j}}{σ} j = 1, . . ., J .

$\beta_{j} = \frac{\alpha_{j}}{\sigma}\;\;j=1,...,J.$

В уравнениях 2 и 3 является масштабным коэффициентом ненаблюдаемой вариации, и мы можем видеть, что размер оцененных коэффициентов зависит от , что не наблюдается. Исходя из этого, Allison (1999), Williams (2009) и Mood (2009), среди прочего, утверждают, что вы не можете наивно сравнивать коэффициенты между логистическими моделями, оцененными для разных групп, стран или периодов. $\sigma$ $\beta$ $\sigma$

Это связано с тем, что сравнения могут дать неверные выводы, если ненаблюдаемые различия отличаются между группами, странами или периодами. Оба сравнения, использующие разные модели и использующие термины взаимодействия в одной и той же модели, страдают от этой проблемы. Помимо logit, это также относится к его двоюродным братьям probit, clog-log, cauchit и, как следствие, к дискретным моделям времени, оцененным с использованием этих функций связи. Это также влияет на упорядоченные модели logit.

Уильямс (2009) утверждает, что решение состоит в том, чтобы смоделировать ненаблюдаемую вариацию с помощью модели гетерогенного выбора (она же модель масштабирования местоположения), и предоставляет дополнение Stata oglm для этого (Williams 2010). В R модели с гетерогенным выбором могут соответствовать hetglm()функции glmxпакета, который доступен через CRAN. Обе программы очень просты в использовании. Наконец, Уильямс (2009) упоминает PLUMпроцедуру подгонки этих моделей в SPSS , но я никогда не использовал ее и не могу комментировать, насколько легко ее использовать.

Тем не менее, существует, по крайней мере, один рабочий документ , показывающий, что сравнения с использованием гетерогенных моделей выбора могут быть еще более предвзятыми, если уравнение дисперсии не указано или имеется ошибка измерения.

Mood (2010) перечисляет другие решения, которые не включают моделирование дисперсии, но используют сравнения прогнозируемых вероятностных изменений.

По-видимому, это проблема, которая не решена, и я часто вижу статьи на конференциях в своей области (социология), которые предлагают различные решения для нее. Я бы посоветовал вам посмотреть, что делают люди в вашей области, а затем решить, как с этим бороться.

Рекомендации

Allison, PD (1999). Сравнение коэффициентов логита и пробита по группам. Социологические методы и исследования, 28 (2), 186–208.
Mood, C. (2010). Логистическая регрессия: почему мы не можем делать то, что думаем, что можем, и что мы можем с этим сделать. Европейский социологический обзор, 26 (1), 67–82.
Уильямс, Р. (2009). Использование гетерогенных моделей выбора для сравнения логит-и пробит-коэффициентов по группам. Социологические методы и исследования, 37 (4), 531–559.
Уильямс, Р. (2010). Подгонка гетерогенных моделей выбора с оглм. Журнал Stata, 10 (4), 540–567.

Kenji
источник

Я пытаюсь реализовать решение Williams (2009) в R, и кажется, что в новых версиях пакета glmx больше нет функции hetprob (). Просто хотел проверить, знаете ли вы какие-либо альтернативы для этого?

AliCivil

1

Я давно не пользовался glmx и не знал, что он изменился. Теперь он доступен через CRAN, и функция, используемая для герероскастического пробита, по-видимому, называется hetglm (). Я обновлю этот ответ, чтобы отразить это позже (речь идет о времени сна здесь). Я надеюсь, что это помогает сейчас.

Кэндзи

3

Есть ли изменения в наборах данных? Я могу ответить на это, не видя данных! Да. Есть. Насколько они большие? Это ключ. Для меня способ видеть - это смотреть. У вас будут коэффициенты шансов для каждой независимой переменной для каждого набора данных - отличаются ли они способами, которые люди находят интересными? Теперь, правда, у каждого будет стандартная ошибка и так далее, и, возможно, есть способы увидеть, статистически они значительно отличаются друг от друга, но действительно ли это интересный вопрос? Если это так, то одним из способов легко проверить это с помощью программного обеспечения было бы объединить все исследования и включить «исследование» в качестве другой независимой переменной. Вы можете даже проверить взаимодействия, если хотите. Хотите ли вы сделать это, зависит от ваших основных вопросов.

Что касается сравнения переменных в модели, то основная проблема со стандартизированными оценками заключается в том, что они стандартизированы для вашей конкретной выборки. Таким образом, оценки параметров и т. Д. Будут в терминах стандартных отклонений переменных в вашей конкретной выборке. Даже если ваша выборка действительно случайная выборка из некоторой популяции, она будет иметь (немного) отличные стандартные отклонения от других случайных выборок. Это делает вещи запутанными.

Другая проблема состоит в том, что даже означает вопрос «относительного размера». Если ваши IV - это вещи, которые хорошо понятны, вы можете сравнить OR между диапазонами, которые что-то значат.

Питер Флом - Восстановить Монику
источник

Это полезно, спасибо Питер. Причина, по которой я задал первый вопрос, заключается в том, что я видел именно это - сравнения коэффициентов по моделям в выборке и сравнения по моделям из разных выборок - в рецензируемых работах. Я не чувствовал, что это был правильный подход, и, очевидно, я прав. Что касается технических деталей, могу ли я просто оценить модель для всех шести выборок и термин взаимодействия между ключевым предиктором, который я хочу сравнить, и переменной, определяющей каждую выборку (представляющую другой период времени)? Это то, что вы говорили? Нужна ли мне переменная для каждого s

Ejs

Привет @ejs. Вам нужно будет кодировать «семпл» так же, как любую другую категориальную переменную - фиктивное кодирование или кодирование эффекта или что-то еще.

Питер Флом - Восстановить Монику

Что касается взаимодействий .... да, они могут быть трудно интерпретировать. Мне нравится графический подход, чтобы показать, что они имеют в виду.

Питер Флом - Восстановить Монику

3

Гильерме здесь на деньги. Хотя другие ответы полезны, обратите внимание, что логистическая регрессия (и все нелинейные регрессии, как Пуассон, в этом отношении) принципиально отличается от линейной регрессии. Могут возникнуть серьезные проблемы с коэффициентом масштабирования логита, когда один и тот же анализ выполняется для шести разных наборов данных, а затем выполняется этот анализ для объединенного набора данных. Изменения в коэффициентах могут не иметь никакого отношения к значимым различиям (даже если они статистически значимы или существенно важны). Они могут быть связаны с ненаблюдаемой неоднородностью в образцах. Вы должны обязательно проверить это. Многие (если не большинство) исследователей в области социальных и политических наук игнорируют это. Гильерме дает оригинальные статьи по этому вопросу, которые я рекомендую всем посмотреть. Предложения Петерса практичны, но простое кодирование фиктивной переменной для выборки, из которой поступают данные, не решит эту неоднородность в коэффициенте масштабирования. Вы можете сделать это в линейной регрессии, и неоднородность не должна влиять на ваши коэффициенты, но здесь это возможно.

Еще одним аспектом эффекта ненаблюдаемой гетерогенности, уникальной для логита и линейной регрессии, является влияние различных регрессоров в каждом наборе данных. Если у вас нет одинаковых переменных или, скорее всего, если они измеряются по-разному, у вас есть форма пропуска смещения переменной. В отличие от линейной регрессии, пропущенная переменная, ортогональная вашему ключевому регрессору, все еще может сместить вашу оценку. Как выразился Крамер:

Таким образом, даже с ортогональными регрессорами пропущенные переменные понижают до нуля относительно его значения в полном уравнении. Другими словами, дискретных моделей изменяется обратно пропорционально степени ненаблюдаемой неоднородности. Практическое следствие состоит в том, что оценки от образцов, которые отличаются в этом отношении, не могут быть напрямую сопоставлены. ( http://dare.uva.nl/document/2/96199 ) $\hat β$ $\hat β$

Крамер также указывает, что хотя оценки коэффициентов смещаются вниз при исключении переменной, частные производные - нет. Это довольно сложно, и вы должны прочитать статью для более ясного объяснения - суть в том, что не нужно смотреть исключительно на коэффициенты логарифмов и шансов. Рассмотрим прогнозируемые вероятности и производные; см. команду margins в Stata для более подробной информации. У Дж.Д. Лонга есть статья, в которой подробно рассказывается

Наконец, есть ряд статей, в которых вы можете найти Google для обсуждения условий взаимодействия в моделях logit. Насколько я понимаю, в качестве ориентира принимайте логит-коэффициент взаимодействия, но не окончательный, особенно если вы предпочитаете рассматривать коэффициенты как экспоненциальные отношения шансов. Глядя на прогнозируемые вероятности и средний маржинальный эффект лучше (опять же, посмотрите документацию по команде поля Stata для logit, даже если вы используете SPSS, это все равно будет полезно).

Я не достаточно знаком с SPSS, чтобы знать, как этот пакет может справиться с этими проблемами, но я скажу следующее: когда вы попадаете на более глубокие статистические проблемы, подобные этой, это свидетельствует о том, что вам пора перейти к более гибкий, сложный пакет, такой как Stata или R.

robin.datadrivers
источник

+1 за рекомендацию предельных эффектов и за рекомендацию переехать в R.

Кэндзи

1

Другим инструментом, который может быть полезен, является стандартизированный коэффициент регрессии или, по крайней мере, грубая и готовая псевдо-версия. Вы можете получить одну такую версию, умножив полученный коэффициент на стандартное отклонение предиктора. (Существуют и другие версии и некоторые дебаты о лучшей, например, см. Menard 2002, Прикладной логистический регрессионный анализ ( книги Google )). Это даст вам возможность оценить силу эффекта в разных исследованиях.

rolando2
источник

Сравнение коэффициентов логистической регрессии по моделям?

Ответы: