Ответ одним словом: оба.
Начнем с определения норм. Для матрицы оператор 2 -норма определяется как ‖ X ‖ 2 = s u p ‖ X v ‖ 2Икс2и норма Фробениуса как‖X‖F=√
∥ X∥2= s u p ∥ XV ∥2∥ v ∥2= Т х ( секя)
где
si- сингулярные значения
X, т.е. диагональные элементы
Sв разложении по сингулярным числам
X=USV⊤.
∥ X∥F= ∑я жИкс2я ж------√= t r ( X⊤Икс) = ∑ s2я-----√,
sяИксSИкс= USВ⊤
PCA задается тем же разложением сингулярных значений, когда данные центрированы. являются главными компонентами, V являются главными осями, то есть собственными векторами ковариационной матрицы, и восстановление X только с k главными компонентами, соответствующими k наибольшим сингулярным значениям, определяется как X k = U k S k V ⊤ k .USВИксККИксК= UКSКВ⊤К
Теорема Эккарта-Юнга говорит, что - это матрица, минимизирующая норму ошибки восстановления ‖ X - A ‖ среди всех матриц A ранга k . Это верно как для нормы Фробениуса, так и для операторной 2- нормы . Как отметил @cardinal в комментариях, он был впервые доказан Шмидтом (из известности Грам-Шмидта) в 1907 году для случая Фробениуса. Позднее он был вновь открыт Экартом и Янгом в 1936 году и теперь в основном связан с их именами. Мирский обобщил теорему в 1958 г. на все нормы, инвариантные относительно унитарных преобразований, и это включает 2-норму оператора.ИксК∥ X- ∥AК2
Эту теорему иногда называют теоремой Эккарта-Юнга-Мирского. Стюарт (1993) называет это теоремой приближения Шмидта. Я даже видел, как это называется теорема Шмидта-Эккарта-Юнга-Мирского.
Доказательство для оператора норма2
Пусть имеет полный ранг n . Поскольку A имеет ранг k , его нулевое пространство имеет n - k измерений. Пространство, охватываемое k + 1 правыми сингулярными векторами X, соответствующими наибольшим сингулярным значениям, имеет k + 1 размерность. Таким образом, эти два пространства должны пересекаться. Пусть w - единичный вектор от пересечения. Тогда мы получим:
‖ X - A ‖ 2 2 ≥ ‖ ( X - A ) w ‖ 2ИксNAКн - кк + 1Икск + 1вестребовалось доказать.
∥ X- ∥22≥ ∥ ( X- ) ж ∥22= ∥ Xw ∥22= ∑я = 1к + 1s2я( v⊤яш )2≥ с2к + 1= ∥ X- ХК∥22,
Доказательство для нормы Фробениуса
Мы хотим , чтобы найти матрицу ранг к минимизирующим | | X - ‖ 2 F . Мы можем разложить A = B W ⊤ , где W имеет k ортонормированных столбцов. Минимизация ‖ Х - Б Ш ⊤ ‖ 2 при фиксированном W является регрессионной проблемой с раствором B = Х W . Подключив его, мы видим, что теперь нам нужно минимизировать ‖ X - X W W ⊤AК∥ X- ∥2FA=BW⊤Wk∥X−BW⊤∥2WB=XW где Е представляет ковариационная матрица X , то есть Е = Х ⊤ Х / ( п - 1 ) . Это означаетчто ошибка восстановления сведенаминимуму, взявкачестве столбцов W некоторые к ортонормированным векторам максимизации общей дисперсии проекции.
∥X−XWW⊤∥2=∥X∥2−∥XWW⊤∥2=const−tr(WW⊤X⊤XWW⊤)=const−const⋅tr(W⊤ΣW),
ΣXΣ=X⊤X/(n−1)Wk
kX=USV⊤Σ=VS2V⊤/(n−1)=VΛV⊤R=V⊤W
tr(W⊤ΣW)=tr(R⊤ΛR)=∑iλi∑jR2ij≤∑i=1kλk,
W=Vk
Смотрите следующие три связанных темы:
Более ранняя попытка доказательства нормы Фробениуса
Это доказательство я нашел где-то в Интернете, но оно неверно (содержит пробел), как объясняет @cardinal в комментариях.
∥ X- ∥F= ∥ USВ⊤- A ∥ = ∥ S- U⊤A V∥ = ∥ S- B ∥ ,
B = U⊤A V∥ X- ∥F= ∑я ж( Sя ж- Бя ж)2= ∑я( ся- Бя я)2+ ∑я ≠ jВ2я ж,
ВККsя Во р т я м а л= SКAо р т я м а л= UКSКВ⊤К