В чем разница между наименьшими квадратами и линейной регрессией? Это то же самое?
regression
least-squares
terminology
bbadyalina
источник
источник
Ответы:
Линейная регрессия предполагает линейную зависимость между независимой и зависимой переменной. Это не говорит вам, как модель установлена. Подгонка наименьшего квадрата - просто одна из возможностей. Другие методы обучения линейной модели есть в комментарии.
Нелинейные наименьшие квадраты распространены ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Например, популярный алгоритм Левенберга – Марквардта решает что-то вроде:
Это оптимизация методом наименьших квадратов, но модель не линейная.
Они не одно и то же .
источник
В дополнение к правильному ответу @Student T, я хочу подчеркнуть, что наименьшие квадраты - это функция потенциальных потерь для задачи оптимизации, тогда как линейная регрессия - это проблема оптимизации.
Для определенного набора данных используется линейная регрессия, чтобы найти наилучшую возможную линейную функцию, которая объясняет связь между переменными.
В этом случае «наилучшее» из возможных определяется функцией потерь, сравнивая прогнозные значения линейной функции с фактическими значениями в наборе данных. Наименьшие квадраты - это возможная функция потерь.
Статья о наименьших квадратах в Википедии также показывает изображения с правой стороны, на которых показано использование наименьших квадратов для других задач, кроме линейной регрессии, таких как:
Следующий рисунок из статьи в Википедии показывает несколько различных полиномиальных функций, подгоненных к набору данных с использованием метода наименьших квадратов. Только один из них является линейным (полином 1). Это взято из немецкой статьи в Википедии по теме.
источник