«Наименьшие квадраты» и «Линейная регрессия», это синонимы?

12

В чем разница между наименьшими квадратами и линейной регрессией? Это то же самое?

bbadyalina
источник
4
Я бы сказал, что обычные наименьшие квадраты - это один из методов оценки в более широкой категории линейной регрессии . Возможно, что некоторые авторы используют «наименьшие квадраты» и «линейную регрессию», как если бы они были взаимозаменяемыми.
Мэтью Ганн
1
Если вы делаете обычные наименьшие квадраты , я бы использовал этот термин. Это менее двусмысленно.
Мэтью Ганн
1
Смотрите также, что такое модель регрессии .
Ричард Харди

Ответы:

22

Линейная регрессия предполагает линейную зависимость между независимой и зависимой переменной. Это не говорит вам, как модель установлена. Подгонка наименьшего квадрата - просто одна из возможностей. Другие методы обучения линейной модели есть в комментарии.

Нелинейные наименьшие квадраты распространены ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Например, популярный алгоритм Левенберга – Марквардта решает что-то вроде:

β^знак равноargminβS(β)argminβΣязнак равно1м[Yя-е(Икся,β)]2

Это оптимизация методом наименьших квадратов, но модель не линейная.

Они не одно и то же .

Привет, мир
источник
13

В дополнение к правильному ответу @Student T, я хочу подчеркнуть, что наименьшие квадраты - это функция потенциальных потерь для задачи оптимизации, тогда как линейная регрессия - это проблема оптимизации.

Для определенного набора данных используется линейная регрессия, чтобы найти наилучшую возможную линейную функцию, которая объясняет связь между переменными.

В этом случае «наилучшее» из возможных определяется функцией потерь, сравнивая прогнозные значения линейной функции с фактическими значениями в наборе данных. Наименьшие квадраты - это возможная функция потерь.

Статья о наименьших квадратах в Википедии также показывает изображения с правой стороны, на которых показано использование наименьших квадратов для других задач, кроме линейной регрессии, таких как:

  • конический-фитинг
  • подходящая квадратичная функция

Следующий рисунок из статьи в Википедии показывает несколько различных полиномиальных функций, подгоненных к набору данных с использованием метода наименьших квадратов. Только один из них является линейным (полином 1). Это взято из немецкой статьи в Википедии по теме.

введите описание изображения здесь

Николас Рибл
источник
2
Мы можем утверждать, что нелинейные примеры в анимации на самом деле все еще линейны по параметрам.
Firebug
2
Правда, пока модель отношения между целью и входной переменной не является линейной. Вы бы еще назвали примерку «линейной регрессией»? Я бы не.
Николас Рибл
4
Мы должны различать «линейные наименьшие квадраты» и «линейную регрессию», поскольку прилагательное «линейный» в обоих случаях относится к разным вещам. Первое относится к подгонке, которая является линейной по параметрам, а второе относится к подгонке к модели, которая является линейной функцией независимой (ых) переменной (ей).
JM не является статистиком
3
@JM Многие источники утверждают, что «линейная» в «линейной» регрессии означает «линейная по параметрам», а не «линейная по IV». Статья WIkipedia о линейной регрессии является примером, примером. Вот еще и еще . Многие статистические тексты делают то же самое; Я бы сказал, что это соглашение.
Glen_b
1
@Glen, более поздняя разработка, чем материал, который я прочитал (я в этом опытный человек); они ограничивали «линейную регрессию» подгонкой модели . Yзнак равномИкс+б
JM не является статистиком