Учитывая две модели линейной регрессии, какая модель будет работать лучше?

Я взял курс машинного обучения в моем колледже. В одной из викторин был задан этот вопрос.

Модель 1:

$$y = \theta x + \epsilon$$ Модель 2: $$y = \theta x + \theta^2 x + \epsilon$$

Какая из вышеперечисленных моделей подойдет для данных лучше? (предположим, что данные могут быть смоделированы с использованием линейной регрессии)

Правильный ответ (по словам профессора) заключается в том, что обе модели будут работать одинаково хорошо. Однако я считаю, что первая модель подойдет лучше.

Это причина моего ответа. Вторая модель, которую можно переписать как $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ , не будет такой же, как первая модель. $\alpha$ самом деле α является параболой и, следовательно, имеет минимальное значение ( в данном случае $-0.25$ ). Теперь из-за этого диапазон $\theta$ в первой модели больше, чем диапазон $\alpha$ во второй модели. Следовательно , если данные были такими , что лучше всего подходит имел наклон меньше $-0.25$ , вторая модель будет выполнять очень плохо , по сравнению с первым. Однако в случае, если наклон наилучшего соответствия был больше, чем$-0.25$ , обе модели будут работать одинаково хорошо.

Так что, первый лучше или оба одинаковы?

Модель 2 может быть записана как: Это похоже на модель 1, но с другими обозначениями для гиперпараметров ( θ , β ). Тем не менее, для модели 1 можно записать θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

Но так как в модели 2 мы имеем , что то , как вы упомянули , действительно диапазон р должен принадлежать [ - 0,25 , + ∞ ] для & thetas ∈ R . Что приведет к разнице в этих 2 моделях.

$$\beta=\theta + \theta^{2},$$ $\hat{\beta}$$[-0.25,+\infty]$$\theta \in R$

Таким образом , в модели 2 вы сдерживая свою оценку коэффициента в отличие от модели 1. Для того, чтобы сделать это более ясным, следует отметить , что в модели получается путем минимизации квадратичной функции потерь θ = Arg мин θ ∈ R ( у - X θ $\hat{\theta}$ Однако в модели 2 оценка получаетсяпомощью & beta ; =Arg мин & beta ; ≥ - 0,25 (у-Х& beta

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ что может привести к другому результату. $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$

Не уверен, что понимаю ваши рассуждения. Если вы берете:

$$y = \alpha x+\epsilon$$ $$y = \theta x + \epsilon$$

$\alpha$$\theta$$\alpha$$\theta$$R^2$$\theta$$\alpha = \theta + \theta^2$