Могут ли быть решены диагональные плюс фиксированные симметричные линейные системы за квадратичное время после предварительного вычисления?

21

Существует ли метод $O(n^3+n^2 k)$ для решения $k$ линейных систем вида $(D_i + A) x_i = b_i$ где $A$ - фиксированная SPD-матрица, а $D_i$ - положительные диагональные матрицы?

Например, если каждый $D_i$ скалярен, достаточно вычислить СВД из $A$ . Однако, это нарушается для общего $D$ из-за недостаточной коммутативности.

Обновление : ответы пока "нет". У кого-нибудь есть интересная интуиция относительно того, почему? Отсутствие ответа означает, что нет нетривиального способа сжатия информации между двумя некоммутирующими операторами. Это не удивительно, но было бы здорово понять это лучше.

linear-algebra algorithms performance complexity Джеффри Ирвинг
источник

СПД = полуположительно определен?

rcollyer

Да, хотя проблема, по сути, та же, без СПД. Я добавил это ограничение только для того, чтобы системы никогда не были единичными.

Джеффри Ирвинг

19

Ближайшие положительные ответы на ваш вопрос, которые я смог найти, - для разреженных диагональных возмущений (см. Ниже).

С учетом вышесказанного я не знаю ни одного алгоритма для общего случая, хотя есть обобщение упомянутой вами техники для скалярных сдвигов от SPD-матриц ко всем квадратным матрицам:

Для любой квадратной матрицы существует разложение Шура , где унитарное, верхняя треугольная, а обеспечивает разложение Шура . Таким образом, ваша идея предварительного вычисления распространяется на все квадратные матрицы с помощью алгоритма: $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ $A + \sigma I$

Вычислить не более чем за . $[U,T]=\mathrm{schur}(A)$ $\mathcal{O}(n^3)$
Решите каждую через в произведении (средняя инверсия - просто обратная замена). $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ $\mathcal{O}(n^2)$

Эта линия рассуждений сводится к тому подходу, который вы упомянули, когда является SPD, поскольку разложение Шура сводится к EVD для нормальных матриц, и EVD совпадает с SVD для эрмитовых положительно определенных матриц. $A$

Ответ на обновление: Пока у меня нет доказательств, которых у меня нет, я отказываюсь утверждать, что ответ «нет». Тем не менее, я могу дать некоторое представление о том, почему это трудно, а также другой пример, где ответ - да.

Существенная трудность заключается в том, что, хотя обновление является диагональным, оно по-прежнему имеет полный ранг, поэтому основной инструмент обновления обратного, формула Шермана-Моррисона-Вудбери , похоже, не помогает. Несмотря на то, что случай скалярного сдвига также является полным рангом, это чрезвычайно особый случай, поскольку, как вы упоминали, он коммутирует с каждой матрицей.

С учетом вышесказанного , если каждый был разреженным, т. Е. Каждый из них имел ненулей, то формула Шермана-Моррисона-Вудбери дает решение с каждой парой . Например, с одним ненулевым значением в й диагональной записи, так что : $D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

где - это й стандартный базисный вектор . $e_j$ $j$

Еще одно обновление: я должен упомянуть, что я попробовал предварительное условие которое @GeoffOxberry предложило на нескольких случайных матрицах SPD с использованием PCG, и, возможно, неудивительно, что, по-видимому, значительно сокращается число итераций, когда мало, но не тогда, когда оно равно или больше. $A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

Джек Полсон
источник

12

Если является по диагонали доминирующим для каждого , то последняя работа Koutis, Miller, и Peng (см сайт Koutis' для работы на симметричных диагонали доминирующих матриц) могут быть использованы для решения каждой системы в $(D_{i} + A)$ $i$ время (фактически время, где - максимальное количество ненулевых записей в за все $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ , так что вы могли бы также воспользоваться редкостью). Тогда общее время выполнения будет , что лучше, чемподход решения каждой системы наивно с использованием плотной линейной алгебры, но немного хуже, чем квадратичное время выполнения. просишь. $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

Значительная разреженность в для всех может быть использована разреженными решателями для получения алгоритма , но я предполагаю, что если бы вы имели значительную разреженность, то вы бы упомянули об этом. $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

Вы также можете использовать в качестве предварительного условия для решения каждой системы, используя итерационные методы, и посмотреть, как это работает. $A^{-1}$

Ответ на обновление : @JackPaulson подчеркивает важность линейной алгебры и алгоритмов. Вместо этого я сосредоточусь на аргументах сложности вычислений.

Вычислительная сложность решения линейных систем и вычислительная сложность умножения матриц по существу равны. (См. Теорию алгебраической сложности .) Если вы могли бы найти алгоритм, который мог бы сжимать информацию между двумя некоммутирующими операторами (игнорируя положительную полуопределенную часть) и непосредственно решать набор систем, которые вы предлагаете за квадратичное время по , то это вероятно, вы могли бы использовать такой алгоритм, чтобы сделать выводы о более быстром умножении матриц. Трудно понять, как можно использовать положительную полуопределенную структуру в плотном прямом методе для линейных систем, чтобы уменьшить ее вычислительную сложность. $n$

Как и @JackPaulson, я не хочу сказать, что ответ «нет» без доказательства, но, учитывая вышеприведенные связи, проблема очень сложная и представляет текущий исследовательский интерес. Лучшее, что вы могли бы сделать с асимптотической точки зрения, не используя специальную структуру, - это усовершенствование алгоритма Копперсмита и Винограда, дающее алгоритм , где . Этот алгоритм будет трудно кодировать, и он, вероятно, будет медленным для небольших матриц, потому что постоянный фактор, предшествующий асимптотической оценке, вероятно, огромен относительно исключения Гаусса. $\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

Джефф Оксберри
источник

3

Мне еще предстоит увидеть конкретное утверждение о том, где может быть кроссовер, но несколько авторитетных источников заявили, что (без реализации), Coppersmith-Winograd не может превзойти стандартные методы для размеров матриц, которые смогут поместиться в памяти в ближайшем будущем. (несколько десятилетий). Учитывая, что тесту Linpack на современных топовых машинах требуется больше дня, маловероятно, что Coppersmith-Winograd когда-либо будет использоваться на практике. Штрассен на самом деле практичен для больших задач, хотя он несколько менее численно стабилен.

Джед Браун

Это меня не удивляет. +1 за детали реализации.

Джефф Оксберри

6

Разложение Тейлора первого порядка можно использовать для улучшения сходимости по сравнению с простым запаздыванием. Предположим , что мы имеем предобуславливатель (или факторы прямого решения) для , и мы хотим использовать его для предобусловливание . Мы можем вычислить $A+D$ $A$

\begin{aligned} A^{- 1} & = (A + D - D)^{- 1} (A + D) (A + D)^{- 1} \\ = [(A + D)^{- 1} (A + D - D)]^{- 1} (A + D)^{- 1} \\ = [I - (A + D)^{- 1} D]^{- 1} (A + D)^{- 1} \\ \approx [I + (A + D)^{- 1} D] (A + D)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

$A+D$

$D\gtrsim 0$ $D \lesssim \min \sigma(A)$

$\sqrt 2$ $A+D$ $A+D$

Джед браун
источник

Могут ли быть решены диагональные плюс фиксированные симметричные линейные системы за квадратичное время после предварительного вычисления?

Ответы: