Является ли множественная линейная регрессия в 3 измерениях плоскостью наилучшего соответствия или линией наилучшего соответствия?

11

Наш проф не входит в математику или даже геометрическое представление множественной линейной регрессии, и это меня немного смущает.

С одной стороны, это все еще называется множественной линейной регрессией, даже в более высоких измерениях. С другой стороны, если мы, например , Y = B 0 + B 1 X 1 + Ь 2 X 2 и мы можем подключить любые значения , которые мы хотели бы для X 1 и X 2 , не это дает нам плоскость возможных решений, а не линия?Y^=b0+b1X1+b2X2X1X2

В общем, разве наша поверхность предсказания не будет мерной гиперплоскостью для k независимых переменных?КК

Джереми Рэдклифф
источник

Ответы:

12

Вы правы, поверхность решения вообще будет гиперплоскостью. Просто слово «гиперплоскость» - это глоток, плоскость короче, а линия еще короче. Как вы продолжите в математике, одномерный случай обсуждается все реже, так что компромисс

Big words for high dimensional, Small words for small dimensional

начинает смотреть, ну, задом наперед.

Например, когда я вижу уравнение типа , где A - матрица, а x , b - векторы, я называю это линейным уравнением . В более ранней части моей жизни я бы назвал это системой линейных уравнений , зарезервировав линейное уравнение для одномерного случая. Но потом я дошел до того, что одномерный случай не появлялся очень часто, тогда как многомерный случай был повсюду.AИксзнак равнобAИкс,б

Это также происходит с обозначениями. Когда-нибудь видел, чтобы кто-то писал

еИксзнак равно2Икс

Этот символ слева является именем функции, поэтому, чтобы быть формальным и педантичным, вы должны написать

еИкс(Икс)знак равно2Икс

Это становится хуже в многомерных измерениях, когда производная принимает два аргумента, один - где вы берете производную, а другой - в каком направлении вы оцениваете производную, которая выглядит как

Иксе(v)

но люди очень ленивы и начинают отбрасывать те или иные аргументы, оставляя их понятными из контекста.

Профессиональные математики, твердо владеющие языком, называют это злоупотреблением обозначениями . Существуют темы, в которых было бы невозможно выразить себя без злоупотребления обозначениями, и моя любимая дифференциальная геометрия является тому примером. Великий Николай Бурбаки очень красноречиво высказал эту мысль

По мере возможности мы обращали внимание в тексте на злоупотребления языком, без которых любой математический текст рискует педантичностью, не говоря уже о нечитаемости.

- Бурбаки (1988)

Вы даже комментируете злоупотребление обозначениями, в которое я попал выше, даже не заметив этого сами!

Технически, так как вы написали df / dx как частную производную, даже если другие подразумеваемые переменные будут считаться постоянными, техническая частичная производная все еще не будет функцией всех переменных исходной функции, как в df / dx ( х, у, ...)?

Вы совершенно правы, и это дает хорошую (непреднамеренную) иллюстрацию того, что я получаю здесь.

dеdИкс

Думаю, я думаю об этом, когда мы говорим «бесконечная сумма» вместо «предел суммы, когда число членов приближается к бесконечности». Я думаю о том, что все в порядке, пока ясна концептуальная разница. В этом случае (множественная регрессия) я не был уверен, о чем мы вообще говорили.

Σ

Как ленивые люди, мы хотим сэкономить слова в общих случаях.

(*) Исторически сложилось так, что развивались бесконечные суммы. Предел определения частичных сумм был разработан апостериорно, когда математики начали сталкиваться с ситуациями, когда необходимо очень точно рассуждать.

Мэтью Друри
источник
Забавно, что вы привели пример частных производных, потому что я всегда думал об этом (радость самообучения ...). Кстати (независимо от того, я не педантичен, а просто хочу убедиться, что я понимаю как можно больше) технически, так как вы написали df / dx как частную производную, даже если другие подразумеваемые переменные будут считаться постоянными, частная производная технически все еще будет функцией всех переменных исходной функции, как в df / dx (x, y, ...)? Я предполагаю, что мой вопрос не является ли частная производная все еще функцией от всех переменных?
Джереми Рэдклифф
Кроме того, спасибо за объяснение всего этого. Думаю, я думаю об этом, когда мы говорим «бесконечная сумма» вместо «предел суммы, когда число членов приближается к бесконечности». Я думаю о том, что все в порядке, пока ясна концептуальная разница. В этом случае (множественная регрессия) я не был уверен, о чем мы вообще говорили. Я попытался представить линию в 3d, а затем понял, что не имеет смысла, если мы позволим нескольким независимым переменным свободно изменяться, поэтому я просто хотел убедиться.
Джереми Рэдклифф
+1 отличный ответ. Иногда люди ленивы и вызывают много путаницы. Вот почему я пытался задать примечания в этом посте. stats.stackexchange.com/questions/216286/…
Du
@jeremyradcliff Я редактировал в некоторых комментариях.
Мэтью Друри
@ MatthewDrury, спасибо, что нашли время ответить на мои комментарии. Это очень полезно для меня, потому что я самостоятельно изучаю подавляющее большинство математики, которую я знаю, а отсутствие окружающей культуры и доступа к математикам делают такие места, как стек-обмен, и ответы, подобные вашим, бесценными для меня.
Джереми Рэдклифф
5

«Линейный» не совсем означает, что вы думаете, что делает в этом контексте - это немного более общий

Во-первых, на самом деле это не ссылка на линейность по x, а на параметры * («линейный по параметрам»).

Е(Y|Икс)знак равноИксββ

Таким образом, плоскость (или, в более общем случае, гиперплоскость) наилучшего соответствия все еще является «линейной регрессией».

1ИксβИксβ

Glen_b - Восстановить Монику
источник