Информация Фишера измеряет кривизну логарифма правдоподобия и может использоваться для оценки эффективности оценок.
Мне не нравится информация Фишера, что она измеряет и чем она полезна. Кроме того, для меня не очевидны отношения с Крамером-Рао. Может ли кто-нибудь дать интуитивное объяснение этих...
Хорошо, это довольно простой вопрос, но я немного запутался. В своей диссертации я пишу: Стандартные ошибки могут быть найдены путем вычисления обратного корня квадратного из диагональных элементов (наблюдаемой) информационной матрицы Фишера: Так как команда оптимизации в R...
Предположим, у нас есть случайная величина . Если был истинным параметром, функция правдоподобия должна быть максимизирована, а производная равна нулю. Это основной принцип оценки максимального правдоподобия.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Насколько я понимаю, информация о Фишере...
Учитывая такую иерархическую модель, и, М ~ L р л с е ( 0 , с ) , где N ( ⋅ , ⋅ ) является нормальным распределением. Есть ли способ получить точное выражение для информации Фишера о предельном распределении X с учетом с . То есть, что такое информация Фишера: p ( x | c ) = ∫X∼N(μ,1),X∼N(μ,1), X...
Может ли кто-то доказать следующую связь между информационной метрикой Фишера и относительной энтропией (или дивергенцией KL) чисто математически строгим образом? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...
Пусть . Информационная матрица Фишера определяется как:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Как я могу доказать, что...
Я публикую «ответ» на вопрос, который я задал здесь две недели назад: почему полезен Джефрис? Это действительно был вопрос (и я тоже не имел права публиковать комментарии в то время), поэтому я надеюсь, что это нормально: В приведенной выше ссылке обсуждается, что интересная особенность априорной...
В стандартной настройке максимального правдоподобия (iid sample из некоторого распределения с плотностью f y ( y | θ 0 )) и в случае правильно заданной модели информация Фишера задается какY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0}...
Я пытаюсь доказать, что наблюдаемая информационная матрица, оцененная по слабо непротиворечивой оценке максимального правдоподобия (MLE), является слабо непротиворечивой оценкой ожидаемой информационной матрицы. Это широко цитируемый результат, но никто не дает ссылку или доказательство (я...
Тесты перестановки (также называемые тестом рандомизации, тестом повторной рандомизации или точным тестом) очень полезны и оказываются полезными, когда предположение о нормальном распределении, требуемое, например, t-testне выполняется, и когда преобразование значений путем ранжирования...
В разных учебниках приводятся разные условия существования информационной матрицы Фишера. Ниже перечислены несколько таких условий, каждое из которых встречается в некоторых, но не во всех определениях «информационной матрицы Фишера». Есть ли стандартный, минимальный набор условий? Из 5...
(Я разместил аналогичный вопрос на math.se. ) В информационной геометрии детерминант информационной матрицы Фишера представляет собой естественную форму объема на статистическом многообразии, поэтому он имеет хорошую геометрическую интерпретацию. Например, тот факт, что он фигурирует в определении...
Рассмотрим случайную переменную Бернулли с параметром (вероятность успеха). Функция правдоподобия и информация Фишера ( матрица ):θ 1 × 1X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align}...
θ↦g(θ)=ψθ↦g(θ)=ψ\theta\mapsto g(\theta)=\psiг L * ( ψ ) = L ( г - 1 ( ψ ) ) θ г Я * ( г ( θ ) ) = Я ( θ ) | ∂ г ( θ )L∗(ψ)=max{θ:g(θ)=ψ}L(θ)L∗(ψ)=max{θ:g(θ)=ψ}L(θ) L^*(\psi)=\max_{\{\theta:g(\theta)=\psi\}} L(\theta)
Примеры: у меня есть предложение в должностной инструкции: «Старший инженер Java в Великобритании». Я хочу использовать модель глубокого обучения, чтобы предсказать ее как 2 категории: English и IT jobs. Если я использую традиционную классификационную модель, она может предсказать только 1 метку с...