Вопросы с тегом «svd»

Разложение по сингулярным числам (SVD) матрицы задается как где и являются ортогональными матрицами, а - диагональная матрица. A A A = U S V ⊤ A=USV⊤ U U В V S S

352
Отношения между СВД и СПС. Как использовать SVD для выполнения PCA?

Анализ главных компонент (PCA) обычно объясняется с помощью собственного разложения ковариационной матрицы. Тем не менее, он также может быть выполнен с помощью сингулярного разложения (SVD) матриц данных XИкс\mathbf X . Как это работает? Какова связь между этими двумя подходами? Какая связь между...

113
Как обратить вспять PCA и восстановить исходные переменные из нескольких основных компонентов?

Анализ основных компонентов (PCA) может использоваться для уменьшения размерности. После такого уменьшения размерности, как можно приблизительно восстановить исходные переменные / характеристики из небольшого числа главных компонентов? В качестве альтернативы, как можно удалить или удалить...

78
Пример: регрессия LASSO с использованием glmnet для двоичного результата

Я начинаю баловаться с использованием glmnetс LASSO регрессией , где мой результат представляет интерес дихотомический. Я создал небольшой фрейм данных ниже: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91,...

50
Какая интуиция стоит за СВД?

Я читал о разложении сингулярных значений (SVD). Почти во всех учебниках упоминается, что она разбивает матрицу на три матрицы с заданной спецификацией. Но какова интуиция, лежащая в основе разделения матрицы в такой форме? PCA и другие алгоритмы уменьшения размерности интуитивно понятны в том...

38
PCA и анализ соответствия в их отношении к Biplot

Биплот часто используется для отображения результатов анализа основных компонентов (и связанных с ним методов). Это двойная или наложенная диаграмма рассеяния, показывающая загрузки компонентов и оценки компонентов одновременно. Сегодня @amoeba сообщил мне, что он дал ответ, отходящий от моего...

33
Теория за частичной регрессией наименьших квадратов

Кто-нибудь может порекомендовать хорошее изложение теории за частичной регрессией наименьших квадратов (доступно онлайн) для тех, кто понимает SVD и PCA? Я просмотрел многие источники в Интернете и не нашел ничего, что имело бы правильное сочетание строгости и доступности. zi=Xφizi=Xφiz_i=X...

31
Уменьшение размерности (SVD или PCA) на большой разреженной матрице

/ edit: далее следите, теперь вы можете использовать irlba :: prcomp_irlba / edit: следите за своим собственным постом. irlbaтеперь имеет аргументы "center" и "scale", которые позволяют использовать его для вычисления основных компонентов, например: pc <- M %*% irlba(M, nv=5, nu=0,...

30
Как центрирование влияет на PCA (для SVD и собственного разложения)?

Какое значение имеет центрирование (или де-смысл) ваших данных для PCA? Я слышал, что это облегчает математику или препятствует доминированию переменных на первом компьютере, но я чувствую, что пока не смог твердо понять концепцию. Например, главный ответ здесь. Как центрирование данных избавляет...

30
Как я могу использовать SVD в совместной фильтрации?

Я немного запутался с тем, как SVD используется в совместной фильтрации. Предположим, у меня есть социальный граф, и я строю матрицу смежности по краям, затем беру SVD (давайте забудем о регуляризации, скоростях обучения, оптимизации разреженности и т. Д.), Как я могу использовать этот SVD для...

29
Почему Эндрю Нг предпочитает использовать SVD, а не EIG ковариационной матрицы для PCA?

Я изучаю PCA из курса Coursera Эндрю Нг и других материалов. В первом задании Stanford NLP cs224n и в видео лекции Эндрю Нг они проводят разложение по сингулярным значениям вместо разложения по ковариационной матрице по собственным векторам, и Нг даже говорит, что SVD численно более устойчив, чем...

29
СВД коррелированной матрицы должен быть аддитивным, но не

Я просто пытаюсь воспроизвести утверждение, сделанное в следующей статье « Поиск коррелированных бикластеров по данным экспрессии генов» : Предложение 4. Если . тогда мы имеем:XIJ=RICTJXIJ=RICJTX_{IJ}=R_{I}C^{T}_{J} я. Если - идеальный бикластер с аддитивной моделью, то - идеальный бикластер с...

26
Как вычислить SVD огромной разреженной матрицы?

Каков наилучший способ вычисления разложения по сингулярным числам (SVD) очень большой положительной матрицы (65M x 3,4M), где данные чрезвычайно редки? Менее 0,1% матрицы не равно нулю. Мне нужен способ, который: впишется в память (я знаю, что онлайн методы существуют) будет рассчитан в разумные...

26
Почему Python scikait-learn LDA не работает правильно и как он вычисляет LDA через SVD?

Я использовал Линейный Дискриминантный Анализ (LDA) из scikit-learnбиблиотеки машинного обучения (Python) для уменьшения размерности, и мне было немного интересно узнать о результатах. Теперь мне интересно, что scikit-learnделает LDA , чтобы результаты выглядели иначе, чем, например, ручной подход...

26
Тестирование на линейную зависимость среди столбцов матрицы

У меня есть корреляционная матрица возвращений безопасности, чей определитель равен нулю. (Это немного удивительно, поскольку выборочная корреляционная матрица и соответствующая ковариационная матрица теоретически должны быть положительно определенными.) Моя гипотеза состоит в том, что по крайней...

26
Какая норма ошибки восстановления минимизируется матрицей аппроксимации низкого ранга, полученной с помощью PCA?

Учитывая приближение PCA (или SVD) матрицы с матрицей , мы знаем , что является лучшим низкоразрядным приближением .XXXX^X^\hat XX^X^\hat XXXX Это в соответствии с индуцированной нормой∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (т. Е. Самой большой нормой собственных значений) или в соответствии с нормой...

25
LSA против PCA (кластеризация документов)

Я изучаю различные методы, используемые в кластеризации документов, и я хотел бы прояснить некоторые сомнения, касающиеся PCA (анализ главных компонентов) и LSA (скрытый семантический анализ). Первое - какие различия между ними? Я знаю, что в PCA декомпозиция SVD применяется к матрице...

22
Почему PCA данных с помощью SVD данных?

Этот вопрос касается эффективного способа вычисления основных компонентов. Многие тексты по линейному PCA рекомендуют использовать разложение по регистру данных по сингулярным значениям . То есть, если у нас есть данные и мы хотим заменить переменные (их столбцы ) на главные компоненты, мы делаем...

21
Спс, когда размерность больше количества образцов

Я столкнулся со сценарием, где у меня есть 10 сигналов на человека на 10 человек (таким образом, 100 выборок), содержащих 14000 точек данных (измерений), которые мне нужно передать в классификатор. Я хотел бы уменьшить размерность этих данных, и PCA, кажется, является способом сделать это. Тем не...

21
Странные корреляции в результатах SVD случайных данных; у них есть математическое объяснение или это ошибка LAPACK?

Я наблюдаю очень странное поведение в результате SVD случайных данных, которое я могу воспроизвести как в Matlab, так и в R. Это похоже на некоторую числовую проблему в библиотеке LAPACK; это? Я рисую выборок из мерного гауссиана с нулевым средним и единичной ковариацией: . Я собрать их в данных...

21
Что происходит, когда вы применяете SVD к проблеме совместной фильтрации? Какая разница между двумя?

В совместной фильтрации у нас есть значения, которые не заполняются. Предположим, что пользователь не смотрел фильм, тогда мы должны добавить туда «na». Если я собираюсь взять SVD этой матрицы, то я должен добавить туда некоторое число - скажем, 0. Теперь, если я разложу матрицу, у меня есть метод...