Зачем подавлять перехват в линейной регрессии?

20

В ряде статистических пакетов, включая SAS, SPSS и, возможно, больше, есть опция «подавить перехват». Почему вы хотите это сделать?

regression user333
источник

Ответы:

16

Если по какой-либо причине вы знаете, что перехват (особенно если он равен нулю), вы можете избежать потери дисперсии в ваших данных для оценки того, что вы уже знаете, и больше доверять значениям, которые вам действительно нужно оценить.

Несколько упрощенный пример: если вы уже знаете (из области знаний), что одна переменная (в среднем) кратна другой, и вы пытаетесь найти это множество.

Ник Сабби
источник
Я не совсем понимаю, но в модели, которую я создаю в R, у меня есть что-то вроде lm (a ~ b / c - 1), которое создает взаимодействия между b и c и подавляет перехват ("- 1" в R) я получаю более легко интерпретируемые ответы, которые по сути такие же, как если бы я не подавлял перехват. Каким-то образом взаимодействие делает это возможным.
Уэйн
Более легко интерпретируемые ответы, которые по сути одинаковы? Это кажется противоречием. Может быть, вы должны представить это как новый вопрос?
Ник Сабб
Если я посмотрю на коэффициенты, то с перехватом есть (перехват) и темпвармер (одна из моих переменных - темп, который может быть теплее или холоднее ). Чтобы интерпретировать коэффициенты, я должен знать, что (перехват) напрямую соответствует tempcooler, а tempwarmer + (перехват) является непосредственно интерпретируемым tempwarmer . Если я подавляю перехват, я вижу tempcooler и tempwarmer напрямую. Возможно, причуды формул R и линейного моделирования, но ...
Уэйн
12

Рассмотрим случай трехуровневой категориальной ковариации. Если у кого-то есть перехват, для этого потребуются 2 индикаторные переменные. Используя обычное кодирование для индикаторных переменных, коэффициент для любой индикаторной переменной представляет собой среднее различие по сравнению с контрольной группой. Подавляя перехват, вы получите 3 переменные, представляющие категориальный ковариат, а не только 2. Тогда коэффициент является средней оценкой для этой группы. Более конкретным примером того, где это можно сделать, является политология, где можно изучать 50 штатов США. Вместо того, чтобы иметь пересечение и 49 переменных-индикаторов для состояний, часто предпочтительно подавлять перехват и вместо этого иметь 50 переменных.

ДКД
источник
Гораздо проще интерпретировать коэффициент таким образом
вероятностная
1
Да, но он разбивается на две или более категориальных переменных!
kjetil b halvorsen
2

Чтобы проиллюстрировать точку зрения @Nick Sabbe на конкретном примере.

Однажды я видел, как исследователь представил модель возраста дерева в зависимости от его ширины. Можно предположить, что когда дерево находится в нулевом возрасте, оно фактически имеет нулевую ширину. Таким образом, перехват не требуется.

Джером англим
источник
8
Мудрость или ее отсутствие зависит от диапазона зависимой переменной, представляющей интерес. Рассмотрите данные о торможении автомобиля, где у вас есть скорость и тормозной путь. Вы можете установить квадратичную модель с перехватом или без него. Интересующие скорости обычно начинаются с 50 км / час и доходят, скажем, до 130 км / час. Я думаю, что в этом случае имеет смысл выбирать квадратик с помощью перехвата, так как принудительное пересечение с нулем может вызвать (практически) значительные проблемы с отсутствием соответствия. Тот факт, что «тормозной путь» остановленного автомобиля равен нулю, не имеет особого значения для рассматриваемой задачи моделирования.
кардинал
@ cardinal да, мне было интересно, стоит ли мне высказывать подобное мнение. Я обнаружил, что в некоторых контекстах нелинейного регрессионного моделирования интерес к модели, которая обеспечивает теоретически правдоподобную модель, которая точно прогнозирует вне диапазона данных (например, при скорости данных кривой обучения, модели не должны прогнозировать скорости ниже 0 секунд) ). В таких случаях ограничение перехвата на ноль может быть более подходящим, даже если это приводит к снижению прогноза для данных.
Джером Энглим
@ cardinal Я согласен, что полиномиальные модели редко предсказывают правдоподобно за пределами диапазона данных, и поэтому ограничение перехвата на 0 в таких моделях редко является хорошей идеей.
Джером Энглим
Спасибо за ваши комментарии. Мое замечание было не столько направлено на полиномиальные модели. Выбор квадратичного был просто основан на фактической физической мотивации (то есть, классическая механика). Суть, которую я пытался сформулировать, заключалась в том, что нужно тщательно рассмотреть интересующую проблему моделирования; иногда делать что-то, что (или кажется) "теоретически неоправданным", на самом деле более статистически целесообразно.
кардинал