Быстрое вычисление / оценка линейной системы низкого ранга

Линейные системы уравнений распространены в вычислительной статистике. Одна особая система, с которой я столкнулся (например, в факторном анализе), это система

A x = b

$Ax=b$

где Здесь - диагональная матрица со строго положительной диагональю, - симметричная положительная полуопределенная матрица (с ), а - произвольная матрица. Нас просят решить диагональную линейную систему (легкую), которая возмущена матрицей низкого ранга. Наивный способ решить эту проблему выше, чтобы инвертировать , используя формулу Woodbury в

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ , Однако это не совсем правильно, поскольку факторизации Холецкого и QR обычно могут значительно ускорить решение линейных систем (и нормальных уравнений). Недавно я подошел к следующей статье , в которой, похоже, используется подход Холецкого, и упоминается численная нестабильность инверсии Вудбери. Тем не менее, документ представляется в виде черновика, и я не смог найти численных экспериментов или подтверждающих исследований. Каков уровень техники для решения описанной мной проблемы?

factor-analysis matrix computational-statistics matrix-decomposition matrix-inverse с промежутками
источник

@gappy, вы рассматривали возможность использования QR (или Cholesky) разложения для матрицы

(средний член в формуле Вудберри)? Остальные операции представляют собой простые умножения матриц. Основным источником нестабильности является вычисление

. Поскольку

Я подозреваю , это применение QR или Cholesky в сочетании с Вудбери будет быстрее , чем QR по всей матрице

. Это, конечно, не состояние дел, а общие замечания.

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

mpiktas

Я подозреваю, что то, что защищает Матиас Сигер, находится в

от уровня техники, он очень яркий парень, и такого рода проблемы неоднократно возникают в моделях, которые он исследует. Я использую методы, основанные на Холецком, по тем же причинам. Я подозреваю, что в «Матричных вычислениях» Голуба и Ван Лоана есть обсуждение, которое является стандартным справочником для такого рода вещей (хотя у меня нет моей копии в руках).

ϵ

$\epsilon$

Дикран Marsupial

Следует отметить , что, принимая

ваша задача эквивалентна решению системы

, где

. Это немного упрощает проблему. Теперь, если

, мы знаем, что

положительно полуопределена с не более

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

положительных собственных значений. Поскольку

, нахождение

наибольших собственных значений и соответствующих собственных векторов может быть выполнено различными способами. Тогда решение имеет вид

где

дает собственное разложение

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$

кардинал

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$ в обоих случаях.) Обратите внимание, что все инверсии имеют диагональные матрицы и поэтому тривиальны.

кардинал

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

«Матричные вычисления» Голуба и ван Лоан подробно обсуждаются в главе 12.5.1 об обновлении факторизаций QR и Холецкого после обновлений ранга p.

Фабиан Педрегоса
источник

Я знаю, и соответствующие функции Lapack упоминаются как в статье, на которую я ссылаюсь, так и в книге. Интересно, однако, что является лучшей практикой для рассматриваемой проблемы, а не для общей проблемы обновления.

gappy

Быстрое вычисление / оценка линейной системы низкого ранга

Ответы: