Применение регрессии гребня для недоопределенной системы уравнений?

Когда $y = X\beta + e$ , задача наименьших квадратов, которая накладывает сферическое ограничение на значение может быть записана как для переопределенной системы. \ | \ cdot \ | _2 - евклидова норма вектора.$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

Соответствующее решение для задается как который может быть получен из метода множителей Лагранжа ( - множитель): & beta ; = ( Х Т Х + λ I ) - 1 х Т у , λ L ( & beta ; , λ ) = | | у - Х & beta ; | | 2 2 + λ ( | | & beta ; | | 2 2 - δ 2$\beta$

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ $\lambda$ $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Я понимаю, что есть свойство, которое Правая часть напоминает псевдообратную матрицу регрессора в недоопределенном случае (с добавленным параметром регуляризации ). Означает ли это, что одно и то же выражение можно использовать для аппроксимации для недоопределенного случая? Есть ли отдельный вывод для соответствующего выражения в недоопределенном случае, поскольку сферическое ограничение ограничения избыточно с целевой функцией (минимальная норма ):Xλβ

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ $X$$\lambda$$\beta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Начиная с постановки задачи регрессии гребня как

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

Вы можете написать проблему как

$\min \| A\beta - b \|_{2}^{2}$

где

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

а также

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Матрица имеет полный ранг по столбцам из-за часть. Таким образом, проблема наименьших квадратов как единственное решение$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Записывая это с точки зрения и , и упрощая множество нулей, мы получаем$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Ничто в этом выводе не зависит от того, имеет ли больше строк или столбцов, или даже от того, имеет ли полный ранг. Таким образом, эта формула применима к неопределенному случаю. $X$$X$

Это алгебраический факт, что для ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Таким образом, у нас также есть возможность использования

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Чтобы ответить на ваши конкретные вопросы:

1. Да, обе формулы работают как для неопределенного случая, так и для чрезмерно определенного случая. Они также работают , если меньше минимального числа строк и столбцов . Вторая версия может быть более эффективной для задач, которые не определены, потому что меньше, чем в этом случае. $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Я не знаю какого-либо вывода альтернативной версии формулы, которая начинается с некоторой другой задачи с наименьшими квадратами и использует нормальные уравнения. В любом случае вы можете получить его прямым способом, используя немного алгебры.

Возможно, вы думаете о проблеме регрессии гребня в форме

$\min \| \beta \|_{2}^{2}$

при условии

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Тем не менее, эта версия проблемы регрессии гребня просто приводит к той же самой проблеме затухающих наименьших квадратов .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$