Вычисление стандартных ошибок для задач линейной регрессии без вычисления обратного

Существует ли более быстрый способ вычисления стандартных ошибок для задач линейной регрессии, чем путем инвертирования ? Здесь я предполагаю, что у нас есть регрессия:$X'X$

где - матрица n × k, а y - вектор n × 1 .$X$$n\times k$$y$$n\times 1$

Для нахождения решения задачи наименьших квадратов нецелесообразно что-либо делать с , вы можете использовать разложения QR или SVD на матрицу X напрямую. Или же вы можете использовать градиентные методы. Но как насчет стандартных ошибок? Нам действительно нужна только диагональ ( X ′ X ) - 1 (и, естественно, решение LS для вычисления оценки стандартной ошибки ε ). Существуют ли какие-либо конкретные методы для расчета стандартных ошибок?$X'X$$X$$(X'X)^{-1}$$\varepsilon$

Предположим, что вы решили проблему наименьших квадратов, используя разложение по сингулярным числам (SVD) для , определяемое как$X$

где и V унитарные, а Σ диагональные.$U$$V$$\Sigma$

потом

$(X'X)^{-1}$$X$

(См. Ответ, который я дал на связанный вопрос на Math.SE. )

$\Sigma$$V$$(X'X)^{-1}$$n$$n \times n$$n^2$$\mathcal{O}(n^{3})$

$X'X$$X$