Существует ли байесовская интерпретация для REML?

Доступна ли байесовская интерпретация REML? На мой взгляд, REML имеет сильное сходство с так называемыми эмпирическими процедурами байесовской оценки, и мне интересно, была ли продемонстрирована какая-то асимптотическая эквивалентность (скажем, при некотором подходящем классе приоров). Как эмпирические байесовские, так и REML выглядят как «скомпрометированные» подходы к оценке, предпринятые, например, с учетом неприятных параметров .

Главным образом, что я ищу в этом вопросе, так это понимание высокого уровня, которое склонны приводить подобные аргументы. Конечно, если аргумент такого рода по какой-либо причине не может быть полезен для REML, объяснение, почему это так, также дало бы желаемое понимание!

Байесовские интерпретации существуют только в рамках байесовского анализа, для оценок, которые относятся к апостериорному распределению. Следовательно, единственный способ дать оценщику REML байесовскую интерпретацию (т. Е. Интерпретацию в качестве оценки, взятой из апостериорного значения), если мы примем ограниченную логарифмическую вероятность в анализе REML за логарифмическую апостериорность в соответствующей Байесовский анализ; в этом случае оценщик REML будет оценщиком MAP из байесовской теории с соответствующей байесовской интерпретацией.

---

Установка оценки REML в качестве оценки MAP: сравнительно просто увидеть, как установить ограниченную логарифмическую вероятность в анализе REML как логарифмическую в анализе Байеса. Чтобы сделать это, мы требуем, чтобы журнал предшествовал отрицательной части вероятности журнала, которая удаляется процессом REML. Предположим, что мы имеем логарифмическое правдоподобие где ℓ RE ( θ ) - остаточное логарифмическое правдоподобие и $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$$\ell_{\text{RE}}(\theta)$$\theta$является интересующим параметром (с является нашим неприятным параметром). Установка перед π ( θ , ν ) ∝ exp ( - ℓ ∗ ( θ , ν ) ) дает соответствующий апостериор:$\nu$$\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

$$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$$

Это дает нам:

$$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$$

Этот результат позволяет нам интерпретировать оценку REML как оценку MAP, поэтому правильная байесовская интерпретация оценки REML заключается в том, что это оценка, которая максимизирует апостериорную плотность при вышеупомянутом априоре .

Проиллюстрировав метод, который дает байесовскую интерпретацию для оценки REML, отметим теперь, что с этим подходом есть некоторые большие проблемы. Одна проблема заключается в том, что априор формируется с использованием компонента логарифмического правдоподобия , который зависит от данных. Следовательно, «априор», необходимый для получения этой интерпретации, не является реальным априором в смысле функции, которая может быть сформирована до просмотра данных. Другая проблема заключается в том, что априор часто будет неправильным (т. Е. Он не интегрируется в единицу) и может фактически увеличиваться в весе, когда значения параметров становятся экстремальными. (Мы покажем пример этого ниже.)$\ell_*(\theta, \nu)$

Основываясь на этих проблемах, можно утверждать, что нет разумной байесовской интерпретации для оценки REML. В качестве альтернативы можно утверждать, что оценщик REML все еще поддерживает вышеуказанную байесовскую интерпретацию, являясь максимальным апостериорным оценщиком при «априоре», который должен совпадать по совпадению с наблюдаемыми данными в указанной форме, и может быть крайне неправильным.

---

Иллюстрация с нормальными данными: классический пример оценки REML - для случая нормальных данных где вас интересует точность а среднее значение является неприятным параметром. В этом случае у вас есть функция правдоподобия журнала:$x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$$\theta$$\nu$

$$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$$

В REML мы делим эту логарифмическую вероятность на два компонента:

$$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$$

Мы получаем оценку REML для параметра точности, максимизируя остаточную вероятность, что дает несмещенную оценку для дисперсии:

$$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$$

В этом случае оценщик REML будет соответствовать оценщику MAP для «предыдущей» плотности:

$$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$$

Как вы можете видеть, этот «априор» на самом деле зависит от наблюдаемых значений данных, поэтому он не может быть сформирован до просмотра данных. Более того, мы можем видеть, что это явно «неправильный» априор, который придает все больший вес экстремальным значениям и . (На самом деле, этот априор довольно пристрастный.) Если бы по «совпадению» вы должны были сформировать априор, который, как оказалось, соответствовал этому результату, тогда оценщик REML был бы оценщиком MAP в соответствии с этим априором и, следовательно, имел бы байесовскую интерпретацию как оценка, которая максимизирует апостериор при этом априорном.$\theta$$\nu$