Быстрое определение, является ли плотная матрица низкого ранга

13

В программном проекте, над которым я работаю, некоторые вычисления намного проще для плотных матриц низкого ранга. В некоторых проблемных случаях используются плотные матрицы низкого ранга, но они даны мне полностью, а не как факторы, поэтому мне придется проверять ранг и фактор матрицы, если я хочу воспользоваться преимуществами структуры низкого ранга ,

Матрицы, о которых идет речь, обычно являются полностью или почти полностью плотными, причем n колеблется от ста до нескольких тысяч. Если матрица имеет низкий ранг (скажем, менее 5-10), то вычисление SVD и использование его для формирования факторинга низкого ранга стоит усилий. Однако, если матрица не низкого ранга, то усилия будут потрачены впустую.

Таким образом, я хотел бы найти быстрый и достаточно надежный способ определения, является ли ранг низким, прежде чем вкладывать усилия в полную факторизацию SVD. Если в какой-то момент становится ясно, что ранг выше порога, процесс может быть немедленно остановлен. Если процедура ошибочно объявляет матрицу низкого ранга, когда это не так, это не является большой проблемой, так как я все еще буду делать полный SVD для подтверждения низкого ранга и нахождения факторизации низкого ранга.

Варианты, которые я рассмотрел, включают ранг, раскрывающий LU или QR-факторизацию, за которым следует полный SVD в качестве проверки. Есть ли другие подходы, которые я должен рассмотреть?

linear-algebra matrix lapack rank matrix-factorization Брайан Борхерс
источник

8

Из этой статьи я недавно узнал об одном уловке . Вы начинаете делать QR-код, раскрывающий ранг, и останавливаетесь после первых отражений Домохозяина, когда у вас есть матрица вида где треугольник размера , а обычно не треугольный (так как мы остановились после первых итераций нашего основного цикла). На данный момент, вы проверяете , если ; : если оно выполнено, то $k$

[\begin{matrix} R_{1} & R_{12} \\ 0 & R_{22} \end{matrix}],

$\begin{bmatrix} R_1 & R_{12}\\ 0 & R_{22} \end{bmatrix},$

R_{1}

$R_1$

k \times k

$k\times k$

R_{22}

$R_{22}$

k

$k$

‖ R_{22} ‖ \leq ε

$\|R_{22}\| \leq \varepsilon$

A

$A$ находится на расстоянии не более

от матрицы ранга

; в противном случае это не должно быть (исключая ошибки с цифрами).

ε

$\varepsilon$

\leq k

$\leq k$

Эта процедура стоит для плотной матрицы . $O(n^2k)$ $n\times n$

Федерико Полони
источник

По сути, это тот подход, который я описал в этом вопросе. Я думаю, что предложенный ответ Вольфганга Бангерта мог бы быть лучше, чем

.

O (n^{2} k)

$O(n^{2}k)$

Брайан Борчерс

7

Проблема, конечно, заключается в том, что вычисление истинного ранга (например, посредством разложения QR) на самом деле не дешевле, чем вычисление низкосортного представления матрицы.

Лучшее, что вы можете сделать, это использовать рандомизированный алгоритм для поиска аппроксимаций низкого ранга. Они могут, по крайней мере, теоретически, быть значительно быстрее, чем работать со всей матрицей, потому что, по сути, они только вычисляют разложения для проекций матрицы на случайные подпространства.

Хороший вопрос, стоит ли это для матрицы размером , но если ваши проблемы действительно станут большими, я подозреваю, что это окупится. $100\times 100$

Вольфганг Бангерт
источник

Из того, что я знаю об этих алгоритмах, они производят матрицу низкого ранга, которая достаточно близка по норме к данной матрице. Мне нужно знать, существует ли (например) матрица ранга 10 или меньше, которая очень близка к данной матрице (скажем, относительная ошибка 1,0e-10 или лучше.)

Брайан Борхерс

Да, но вы также можете выполнить QR-декомпозицию спроецированной (низкоразмерной) матрицы, и если эта декомпозиция обнаружит отсутствие полного ранга, то у вас также будет оригинальная матрица с дефицитом ранга. Разве это не тот критерий, который нужен для разложения QR-кода на исходную матрицу?

Вольфганг Бангерт

k

$k$

k

$k$

k - 1

$k-1$

k

$k$

A

$A$

k

$k$

k

$k$

n

$n$

O (k^{2} n)

$O(k^{2}n)$

A

$A$

O (k n^{2})

$O(kn^{2})$

k = n

$k=n$

k

$k$

k n^{2} ≪ n^{3}

$kn^2\ll n^3$

1

Другой подход, который стоит попробовать, - использовать адаптивную перекрестную аппроксимацию (ACA). Это довольно популярный алгоритм, который имеет много реализаций, доступных онлайн. Для справки, вы можете увидеть оригинал статьи:

Горейнов С.А., Тыртышников Е.Е., Замарашкин Н.Л. Теория псевдоскелетных приближений // Линейная алгебра. том 261, нет. 1–3, с. 1–21, август 1997 г.

ACA и ее вариации (скажем, ACA +, гибридная перекрестная аппроксимация HCA) могут использоваться в различных сценариях. Вы уже рассчитали всю плотную матрицу, что является одним из преимуществ, так как вы сможете точно рассчитать остатки, если это необходимо.

$\mathcal O(Nr)$ $N$ $r(\epsilon)$ $r$ $\epsilon$ $\mathcal O(N^2r)$

Антон Меньшов
источник

0

Для простого случая, когда матрица $A$ является симметричным положительно определенным, вычислите его, скажем, 20 самых больших собственных значений, и посмотрите, если они $\to 0$ , or compare norms. ARPACK is fast for this; more important, it needs only a function $x \to A \, x$ , Так что для общего $A$ посмотрите на собственные значения $A^T A$ (как LinOp, не создавая его.)

scipy.sparse.linalg.svds делает это: LinOp $( A^T A ) \to$ Arpack, для $A$ любого размера:

from scipy.sparse.linalg import svds
sing = svds( A, k=20, tol=1e-4, return_singular_vectors=False )  # v0=random
# runtimes on random-normal n x n:
# n = 100, 1k, 2k
#       5, 130, 770 ms

Денис
источник

Быстрое определение, является ли плотная матрица низкого ранга

Ответы: