Что означает «линейный по параметрам»?

Модель линейной регрессии является линейной по параметрам.

Что это на самом деле означает?

Рассмотрим уравнение вида

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

где - переменные, а β - параметры. Здесь y - линейная функция от β (линейная по параметрам), а также линейная функция от x (линейная по переменным). Если вы измените уравнение на$x$$\beta$$\beta$$x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Тогда он больше не является линейным по переменным (из-за квадрата), но по-прежнему линейным по параметрам. И для (множественной) линейной регрессии это все, что имеет значение, потому что, в конце концов, вы пытаетесь найти набор , который минимизирует функцию потерь. Для этого вам необходимо решить систему линейных уравнений . Учитывая его хорошие свойства, он имеет решение в закрытой форме, что делает нашу жизнь проще. Все становится сложнее, когда вы имеете дело с нелинейными уравнениями.$\beta$

Предположим, вы не имеете дело с регрессионной моделью, но вместо этого у вас есть проблема математического программирования: вы пытаетесь минимизировать целевую функцию вида учетом ряда ограничений: A x ≥ b и x ≥ 0 . Это задача линейного программирования в том смысле, что она линейна по переменным. В отличие от регрессионной модели, вы пытаетесь найти набор x (переменных), который удовлетворяет ограничениям и минимизирует целевую функцию. Это также потребует от вас решения систем линейных уравнений, но здесь оно будет линейным по переменным. Ваши параметры не будут влиять на эту систему линейных уравнений.$c^Tx$$Ax \geq b$$x\geq0$$x$

Это просто означает, что где A - параметры. Переменные X могут содержать нелинейные отношения; например, X = [ $Y = A X$$A$$X$ , но Y является линейной функцией X .$X = [\alpha\; \alpha \beta\; \beta^2]^T$$Y$$X$

Модель является линейной, когда каждый член является либо константой, либо произведением параметра и предиктора. Линейное уравнение строится путем сложения результатов для каждого члена. Это ограничивает уравнение только одной основной формой:

$Response = constant + parameter * predictor + ... + parameter * predictor$

«Линейный по параметрам» в линейной регрессии означает, что ни один параметр не отображается в качестве показателя степени, не умножается и не делится на другой параметр.