Скажем, у меня есть многомерная нормальная плотность . Я хочу получить вторую (частичную) производную по . Не уверен, как взять производную от матрицы.
Вики говорит, что нужно брать производный элемент за элементом внутри матрицы.
Я работаю с приближением Лапласа Режим .
Мне дали как это случилось?
Что я сделал:
Итак, я беру производную по , во-первых, это транспонирование, во-вторых, это матрица. Итак, я застрял.
Примечание: если мой профессор сталкивается с этим, я имею в виду лекцию.
self-study
normal-distribution
matrix
user1061210
источник
источник
Ответы:
В главе 2 Матричной поваренной книги есть хороший обзор материала матричного исчисления, который дает много полезных тождеств, которые помогают решать проблемы, с которыми можно столкнуться при выполнении вероятности и статистики, включая правила, помогающие дифференцировать многомерную гауссовскую вероятность.
Если у вас есть случайный вектор который является многомерной нормалью со средним вектором и ковариационной матрицей , то используйте уравнение (86) в поваренной книге матрицы, чтобы найти градиент логарифмическая вероятность относительно равнаy μ Σ L μ
Я оставлю это вам, чтобы разграничить это снова и найти ответ: .−Σ−1
В качестве «дополнительного кредита» используйте уравнения (57) и (61), чтобы определить, что градиент по отношению к равенΣ
Я пропустил много шагов, но я сделал этот вывод, используя только идентификаторы, найденные в матричной поваренной книге, поэтому я оставлю это вам, чтобы заполнить пробелы.
Я использовал эти уравнения для оценки максимального правдоподобия, поэтому я знаю, что они правильные :)
источник
Вам нужно убедиться, что вы правильно позаботились о повторяющихся элементах в , иначе ваши производные будут неверными. Например, (141) Matrix Cookbook дает для симметричной следующие производныеΣ Σ
И (14) Дифференцирования функций ковариационных матриц дает
где обозначает произведение Хадмарда, и для удобства мы определили .∘ x:=y−μ
Обратите внимание, в частности, это не то же самое, что когда симметричность не навязывается. В результате мы имеем этоΣ
где обозначает размерность , и и производную отэто 0D x y μ Dlog|2π|
Это обеспечивает то элемент в соответствует .i,jth ∂L∂Σ ∂L∂Σij
источник
Я попытался вычислительно проверить ответ @ Macro, но обнаружил, что кажется незначительной ошибкой в ковариационном решении. Он получил Однако оказывается, что на самом деле правильным решением является Следующий скрипт R предоставляет простой пример, в котором конечная разница вычисляется для каждого элемента . Это показывает, что
источник