Почему трудно учитывать неопределенность в случайных эффектах при прогнозировании по смешанным моделям?

В R-sig-ME есть несколько потоков о получении доверительных интервалов для прогнозов с использованием lme4и nlmeв R. Например, здесь и здесь, в 2010 году, включая некоторые комментарии Дугалса Бейтса, одного из авторов обоих пакетов. Я стесняюсь цитировать его дословно, так как боюсь, что их вырвут из контекста, но в любом случае он делает один комментарий:

«Вы комбинируете параметры и случайные переменные в своих прогнозах, и я не уверен, что это будет значить для оценки изменчивости этих прогнозов. Байесовский может быть в состоянии понять это, но я не могу обдумать это». " https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Я знаю, что байесовский пакет glmm MCMCglmmможет давать достоверные интервалы для прогнозов.

В последнее время для разработки lme4на github был предоставлен predictметод, но он сопровождается следующим комментарием:

«@note Нет возможности для вычисления стандартных ошибок прогнозов, потому что сложно определить эффективный метод, который включает неопределенность в параметрах дисперсии; мы рекомендуем \ code {\ link {bootMer}} для этой задачи». https://github.com/lme4/lme4/blob/master/R/predict.R

Итак, почему трудно учесть неопределенность в случайных эффектах при прогнозировании по смешанным моделям в частой обстановке?

Я не уверен насчет комментария метода предсказания, но основная проблема связана с генерацией легко интерпретируемых показателей дисперсии, а не показателей дисперсии как таковых. Бейтс не комментирует в первой цитате, можете ли вы сделать это, просто что это значит.

Возьмите простую многоуровневую модель проектирования двухуровневых повторных измерений. Допустим, у вас есть следующие данные, где каждая строка является предметом:

В lmerмодели можно выразить как:

y ~ x + (1|subject)

Вы предсказываете значение y от x как фиксированный эффект (разница между A и B); и перехватить случайный эффект **. Внимательно посмотрите на график и обратите внимание, что, хотя есть эффект изменчивости по x для каждого субъекта (наклон каждой линии), он относительно невелик по сравнению с изменчивостью по субъектам (высота каждой линии).

Модель анализирует эти два набора изменчивости, и каждый из них имеет смысл. Вы можете использовать случайные эффекты, чтобы предсказать высоту линий, и вы можете использовать фиксированные эффекты x, чтобы предсказать наклоны. Вы могли бы даже использовать эти два вместе для работы наших индивидуальных значений y. Но что вы не можете сделать, так это сказать что-то значимое в отношении вашей модели, когда вы комбинируете изменчивость уклонов и высот линий вместе. Вам нужно поговорить об изменчивости ваших уклонов и высот линий отдельно. Это особенность модели, а не ответственность.

У вас будет изменчивость эффекта х, которую относительно легко оценить. Вы могли бы что-то сказать о доверительном интервале вокруг этого. Но обратите внимание, что этот доверительный интервал будет иметь небольшое отношение к предсказанию какого-либо конкретного значения y, потому что на значение y влияет комбинация эффекта и предметной дисперсии, которая отличается от изменчивости одного эффекта.

Когда Бейтс пишет такие вещи, которые вы цитировали, я представляю, что он часто думает о гораздо более сложных многоуровневых проектах, к которым это даже не подходит. Но даже если вы просто рассмотрите этот простой пример, вы задаетесь вопросом, какой реальный смысл можно извлечь из объединения всех мер дисперсии вместе.

** Я проигнорировал фиксированный эффект перехвата для простоты и просто рассматривал его как случайный эффект. Вы можете извлечь аналогичные выводы из еще более простой модели со случайным и фиксированным перехватом, но я думаю, что это будет сложнее передать. В этом случае, опять же, фиксированный эффект и случайный эффект анализируются по причине и означают разные вещи, и объединение их изменчивости для прогнозируемых значений приводит к тому, что эта изменчивость не имеет большого смысла в отношении модели.

В течение долгого времени я задавался вопросом о, казалось бы, распространенном убеждении, что существует некоторая принципиальная разница в фиксированных и случайных эффектах для (как правило, нелинейных) моделей смешанных эффектов. Это убеждение, например, высказано Бейтсом в следующем ответе

https://stat.ethz.ch/pipermail/r-sig-mixed-models/2010q1/003447.html

Бейтс ясно заявляет, что он считает, что существует фундаментальное различие между фиксированными и случайными эффектами, поэтому их нельзя объединять. Я думаю, что он неправ, и я надеюсь убедить нескольких читателей в альтернативной точке зрения. Я использую частый подход, поэтому я хочу определить понятие вероятности профиля для функции как фиксированных, так и случайных эффектов. Для мотивации обсуждения предположим, что у нас есть двухпараметрическая модель с параметрами x и u (пока что ничего о случайных эффектах нет). Пусть - функция правдоподобия, где мы подавляем любую ссылку на данные. Пусть - любая (хорошая) функция от x и u. Вероятность профиля для функции определяется выражениемg ( x , u ) P g ( t ) $L(x,u)$$g(x,u)$$P_g(t)$$g$

$$P_g(t)=\max_{x,u} \{L(x,u)\ |\ g(x,u)=t \} \eqno(1)$$

Я считаю, что никто не станет спорить с этим. Теперь предположим, что у нас есть предварительное распределение вероятностей для u. Тогда я бы сказал, что вероятность профиля для все еще имеет смысл, но мы должны изменить (1), включив предыдущее.$p(u)$$g$

$$P_g(t)=\max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=t \} \eqno(2)$$ Обратите внимание, что, поскольку является параметром с до этого он точно такой же, как случайный эффект. Так почему же многие думают, что параметры случайных эффектов как-то отличаются. Я думаю, что разница заключается в обычной практике оценки параметров для них. То, что делает случайные эффекты «разными», так это то, что их много во многих моделях. В результате, чтобы получить полезные оценки для фиксированных эффектов (или других параметров), необходимо рассматривать случайные эффекты другим способом. Что мы делаем, так это интегрируем их из модели. В приведенной выше модели мы бы сформировали вероятность где Теперь$u$$F(x)$ $$F(x) = \int L(x,u)p(u)du$$ $u$пропали. Поэтому, если все, что у нас есть, это то, кажется, нет смысла говорить о вероятности профиля для некоторой функции .$F(x)$$g(x,u)$

Поэтому для получения информации о функции не нужно интегрировать по параметру . Но что происходит в случае, когда есть много параметров случайных эффектов. Затем я утверждаю, что мы должны интегрироваться по «большинству», но не по всем из них в некотором смысле, который я уточню. Чтобы мотивировать конструкцию, пусть будет случайных эффектов . Рассмотрим особый случай, когда функция зависит только от и фактически является самой простой из представленных функций, . Интегрируем случайные эффекты чтобы получить $g(x,u)$$u$$n$$u=(u_1,u_2,...,u_{n-1},u_n)$$g(x,u)$$u_n$$g(x,u)=u_n$$u_1,u_2,...,u_{n-1}$

$$F(x,u_n) = \int L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_{n-1}\eqno(4)$$ как и прежде мы можем сформировать профиль вероятности Как обобщить чтобы иметь смысл для произвольной функции . Хорошо заметьте, что определение в такое же, как Чтобы заметить, что для простого случая , совпадает с $$P_g(t)=\max_{x,u_n} \{F(x,u_n) | u_n=t \} \eqno(3)$$ $(3)$$g(x,u)$$F(x,u_n)$$(4)$ $$F(x,s) = \lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<g(x,u_n)<s+\epsilon/2\}} L(x,u_1,...,u_n)p(u_1,...,u_n))du_1du_2...du_n\eqno(5)$$ $g(x,u)=u_n$$(5)$ $$F(x,s)=\lim_{\epsilon\rightarrow 0}{1\over\epsilon} \int_{\{(x,u_n) | s-\epsilon/2<u_n<s+\epsilon/2\}} F(x,u_n)du_n\eqno(6)$$

Для общей функции мы формируем функцию определенную формулой и вычисляем вероятность профиля $g(x,u)$$F(x,s)$$(5)$

$$P_g(s)=\max_{x,u} \{F(x,s) | g(x,u)=s \} \eqno(3)$$

Этот профиль вероятности является четко определенной концепцией и стоит сам по себе. Однако, чтобы быть полезным на практике, нужно уметь вычислять его значение, по крайней мере, приблизительно. Я полагаю, что для многих моделей функция может быть достаточно хорошо аппроксимирована с использованием варианта приближения Лапласа. Определите как Пусть H - гессиан логарифма функции относительно параметров и .$F(x,s)$$\hat x(s),\hat u(s)$

$$\hat x(s),\hat u(s)= \max_{x,u} \{L(x,u)p(u)\ |\ g(x,u)=s\}$$ $-L(x,u)p(u)$$x$$u$

Множества уровней являются мерными подмногообразиями мерного пространства, где имеется фиксированных эффектов и случайных эффектов. Нам нужно интегрировать форму по этому многообразию, где все линеаризовано в Это включает в себя элементарную дифференциальную геометрию. Предположим, что Повторным параметрированием можно предположить, что и . Тогда рассмотрите карту $g$$m+n-1$$n+m$$m$$n$$n$$du_1\wedge du_2\wedge\ldots\wedge du_n$$\hat x(s),\hat u(s)$$g_{x_n}(\hat x(s),\hat u(s))\ne 0$$\hat x(s)=0$$\hat u(s)=0$

$$(x_1,x_2,\ldots,x_{m-1},u_1,u_2,\ldots,u_n) \rightarrow (x_1,x_2,\ldots,x_{m-1}, {-\sum_{i=1}^{m-1}g_{x_i}x_i-\sum_{i=1}^ng_{u_i}u_i\over g_{x_m}}, u_1,u_2,\ldots,u_n)$$ где используется для обозначим частичную производную от относительно оцененную в максимальной точке. Это линейное отображение мерного пространства на касательное пространство множества уровней . Мы можем использовать его для вычисления желаемого интеграла. Сначала откат 1 формы - это просто они сами.$g_{x_i}$$g$$x_i$$m+n-1$$g$$du_i$

Откат гессиана - это квадратичная форма

$$T_{i,j} =H_{i+m,j+m}+{g_{u_i}g_{u_j}\over {g_{x_m}}^2}H_{m,m}\quad \hbox{\rm for} \ 1<=i,j<=n$$

Таким образом, интеграл может быть вычислен (или аппроксимирован) через приближение Лапласа, которое является обычной формулой, включающей логарифм определителя , который вычисляется посредством разложения Холецкого. Значение аппроксимации интеграла по Лапласу равно гдеэто определитель. нам все еще нужно иметь дело с шириной набора уровней как Для первого порядка это имеет значение где - вектор частных производных $T$

$$L(\hat x(s),\hat u(s))|-T|^{1\over2}$$ $|\cdot|$$g$$\epsilon\rightarrow 0$$\epsilon/\|\nabla g(\hat x(s),\hat u(s))\|$$\nabla g(\hat x(s),\hat u(s)))$$g$ $( g_{x_1}, g_{x_2}, \ldots, g_{x_m}, g_{u_1}, g_{u_2}, \ldots, g_{u_n})$ так что значение вероятности на наборе уровней задано с помощью Это правильное приближение, используемое для расчета вероятности профиля.$g$ $${L(\hat x(s),\hat u(s))|-T|^{1\over2}\over \|\nabla g(\hat x(s),\hat u(s))\|}$$