Единый взгляд на усадку: какова связь (если таковая имеется) между парадоксом Штейна, регрессией гребня и случайными эффектами в смешанных моделях?

Рассмотрим следующие три явления.

1. Парадокс Штейна: учитывая некоторые данные из многомерного нормального распределения в $\mathbb R^n, \: n\ge 3$ , среднее значение выборки не очень хорошая оценка истинного среднего. Можно получить оценку с меньшей среднеквадратичной ошибкой, если уменьшить все координаты среднего значения выборки до нуля [или в сторону их среднего значения, или фактически до любого значения, если я правильно понимаю].

   NB: обычно парадокс Штейна формулируется через рассмотрение только одной единственной точки данных из $\mathbb R^n$ ; Пожалуйста, поправьте меня, если это важно, и моя формулировка выше не верна.

2. Регрессия гребня: учитывая некоторую зависимую переменную $\mathbf y$ и некоторые независимые переменные $\mathbf X$ , стандартная регрессия $\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$ имеет тенденцию перекрывать данные и приводить к плохой производительности вне выборки. Часто можно уменьшить переоснащение, уменьшив$\beta$ до нуля: $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$ .

3. Случайные эффекты в многоуровневых / смешанных моделях: учитывая некоторую зависимую переменную $y$ (например, рост учащегося), которая зависит от некоторых категориальных предикторов (например, идентификатор школы и пол учащегося), часто рекомендуется рассматривать некоторые предикторы как «случайные», то есть предположить, что средний рост ученика в каждой школе зависит от нормального распределения. Это приводит к сокращению оценок среднего роста в расчете на школу до глобального среднего.

У меня есть ощущение, что все это различные аспекты одного и того же феномена «усадки», но я не уверен и, конечно, не обладаю хорошей интуицией в этом. Итак, мой главный вопрос: действительно ли существует глубокое сходство между этими тремя вещами, или это только поверхностное подобие? Какова общая тема здесь? Какова правильная интуиция об этом?

Кроме того, вот некоторые кусочки этой головоломки, которые мне не очень подходят:

• В регрессии гребня $\beta$ не сокращается равномерно; Сжатие гребня на самом деле связано с разложением по сингулярному значению $\mathbf X$, причем направления с малой дисперсией больше сжимаются (см., например, Элементы статистического обучения 3.4.1). Но оценка Джеймса-Стейна просто берет среднее значение выборки и умножает его на один коэффициент масштабирования. Как это сочетается?

  Обновление: см. Оценщик Джеймса-Стейна с неравными дисперсиями и, например, здесь относительно дисперсий $\beta$ коэффициентов.

• Среднее значение выборки является оптимальным для измерений ниже 3. Означает ли это, что когда в регрессионной модели имеется только один или два предиктора, регрессия гребня всегда будет хуже, чем обычные наименьшие квадраты? На самом деле, если подумать, я не могу представить себе ситуацию в 1D (т.е. простой, не множественной регрессии), где усадка гребня была бы полезной ...

  Обновление: Нет. См. При каких условиях регрессия гребня способна обеспечить улучшение по сравнению с обычной регрессией наименьших квадратов?

• С другой стороны, среднее значение выборки всегда неоптимально в измерениях выше 3. Означает ли это, что при наличии более 3 предикторов регрессия гребня всегда лучше, чем OLS, даже если все предикторы некоррелированы (ортогональны)? Обычно регрессия гребня обусловлена ​​мультиколлинеарностью и необходимостью «стабилизировать» член .$(\mathbf X^\top \mathbf X)^{-1}$

  Обновление: да! Смотрите ту же ветку, что и выше.

• Часто возникают острые дискуссии о том, следует ли включать различные факторы в ANOVA в качестве фиксированных или случайных эффектов. Разве мы не должны, по одной и той же логике, всегда рассматривать фактор как случайный, если он имеет более двух уровней (или если существует более двух факторов? Теперь я в замешательстве)?

  Обновление: ?

---

Обновление: я получил несколько отличных ответов, но ни один из них не дает достаточно полной картины, поэтому я позволю вопросу «открыться». Я могу пообещать присудить награду не менее 100 баллов за новый ответ, который превзойдет существующие. Я в основном ищу объединяющую точку зрения, которая могла бы объяснить, как общее явление усадки проявляется в этих различных контекстах, и указать на принципиальные различия между ними.

Связь между оценкой Джеймса – Стейна и регрессией гребня

Пусть быть вектором наблюдения & thetas длины м , у ~ N ( θ , σ 2 I ) , оценщик Джеймс-Штейн, θ J S = ( 1 - ( т - 2 ) σ $\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$θ г я д г е = $\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$σ2 $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$$\lambda$

Связь между оценщиком Джеймса – Стейна и моделями случайных эффектов

Давайте сначала обсудим модели смешанных / случайных эффектов в генетике. Модель выглядит как Если нет фиксированных эффектов и , модель становится что эквивалентно установке оценки Джеймса-Стейна с некоторыми Байесовская идея.Z = I y = θ + e , θ ∼ N ( 0 , σ 2 θ I ) , e ∼ N ( 0 ,

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Связь между моделями случайных эффектов и регрессией гребня

Если мы сосредоточимся на моделях случайных эффектов, приведенных выше, Оценка эквивалентна решению задачи когда . Доказательство можно найти в главе 3 « Распознавание образов и машинное обучение» .min θ ‖ y - Z θ ‖ 2 + λ ‖ θ ‖ 2 λ = σ 2 / σ 2

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

Связь между (многоуровневыми) моделями случайных эффектов и генетикой

В приведенной выше модели случайных эффектов размерность равна а размерность равна . Если мы векторизуем как и, соответственно, повторяем , то мы имеем иерархическую / кластерную структуру, кластеров и каждый с единицами. Если мы регрессируем на повторяющемся , то мы можем получить случайное влияние на для каждого кластера, хотя это похоже на обратную регрессию. m × 1 , Z m × p Z ( m p ) × 1 , y p m v e c ( Z ) y Z $\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

Подтверждение : первые три пункта в основном извлечены из этих двух китайских статей, 1 , 2 .

Я собираюсь оставить его в качестве упражнения для сообщества плоти этого ответа, но в целом причина усадка оценок будут * доминирующие * несмещенные оценки в конечных выборках, потому что Байес оценщики не могут доминировать , и многие оценки усадки могут быть получены как байесовские. 2 3 $^1$$^2$$^3$$^4$

Все это подпадает под эгиду теории принятия решений. Исчерпывающая, но довольно недружественная ссылка - «Теория точечной оценки» Лемана и Казеллы. Может быть, другие могут присоединиться с более дружескими ссылками?

---

$^1$ расчетчиком от параметра на данных является доминировал другой оценщик , если для любого риска (например, среднеквадратичная ошибка) из равен или больше, чем , а бьет по крайней мере для одной . Другими словами, вы получаете равную или лучшую производительность для везде в пространстве параметров.$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

& thetas ; л & delta ; ( Х ) = Е ( & thetas ; | Х ) Ом л & thetas ; 0 = { 1 , если  & thetas ; = & thetas ; 0 0 & thetas ; ≠ & thetas ; 0 & thetas ; 0 & delta ; ( Х ) = & thetas ; 0 & thetas ; 0 & thetas ; $^2$ Оценкой является Байес (в любом случае под квадратичной потерей), если это заднее ожидание , учитывая данные, при некотором предшествующем , например, где ожидание взято с апостериорным. Естественно, разные приоры приводят к разным рискам для разных подмножеств . Важным игрушечным примером являются предыдущие все предыдущие масса о точке . Тогда вы можете показать, что оценка Байеса является постоянной функцией$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$который, конечно, имеет очень хорошую производительность в и рядом с , и очень плохую производительность в других местах. Но, тем не менее, над ним нельзя доминировать, потому что только эта оценка ведет к нулевому риску при .$\theta_0$$\theta_0$

$^3$ Естественный вопрос: нужен ли байесовский метод оценки, над которым нельзя доминировать (называемый допустимым , хотя не будет ли неукротимым?)? Ответ почти. Смотрите «полные теоремы класса».

1 / λ 2 β σ $^4$ Например, регрессия гребня возникает как байесовская процедура, когда вы ставите Normal (0, ) до , а модели со случайным эффектом возникают как эмпирическая байесовская процедура в аналогичной структуре . Эти аргументы усложняются тем фактом, что ванильная версия теорем Байесовской допустимости предполагает, что каждый параметр имеет надлежащее предварительное значение. Даже в регрессии гребня это не так, потому что «предыдущий» помещается в дисперсию$1/\lambda^2$$\beta$$\sigma^2$Погрешность - это постоянная функция (мера Лебега), которая не является правильным (интегрируемым) распределением вероятности. Но, тем не менее, многие такие «частично» байесовские оценки могут быть признаны допустимыми, демонстрируя, что они являются «пределом» последовательности оценок, которые являются собственными байесовскими оценками. Но доказательства здесь становятся довольно замысловатыми и деликатными. Смотрите "Обобщенные оценки Байеса".

• Джеймс-Стейн предполагает, что размер ответа составляет не менее 3. В стандартной регрессии гребня ответ является одномерным. Вы путаете число предикторов с измерением ответа.

• При этом я вижу сходство между этими ситуациями, но что именно нужно делать, например, должен ли фактор быть фиксированным или случайным, какая величина усадки применяется, если вообще зависит, зависит от конкретного набора данных. Например, чем более ортогональны предикторы, тем меньше смысла выбирать регрессию Риджа вместо стандартной регрессии. Чем больше число параметров, тем больше смысла извлекать априор из самого набора данных через эмпирический байесовский анализ, а затем использовать его для сжатия оценок параметров. Чем выше отношение сигнал / шум, тем меньше преимущества усадки и т. Д.

Как уже говорили другие, связь между ними заключается в том, как вы включаете предыдущую информацию в измерение.

1. В случае парадокса Штейна вы знаете, что истинная корреляция между входными переменными должна быть равна нулю (и всем возможным мерам корреляции, поскольку вы хотите подразумевать независимость, а не просто некоррелированность), следовательно, вы можете построить переменную лучше, чем простая выборка означает и подавляет различные меры корреляции. В байесовской структуре вы можете построить априор, который буквально вниз взвешивает события, которые приводят к корреляции между средними значениями выборки, и взвешивает другие.
2. В случае регрессии гребня вы хотите найти хорошую оценку для значения условного ожидания E (y | x). В принципе, это бесконечномерная проблема, которая плохо определена, поскольку у нас есть только конечное число измерений. Тем не менее, ранее известно, что мы ищем непрерывную функцию, которая моделирует данные. Это все еще плохо определено, так как есть еще бесконечно много способов для моделирования непрерывных функций, но набор несколько меньше. Регрессия гребня - это всего лишь один простой способ отсортировать возможные непрерывные функции, проверить их и остановиться на конечной степени свободы. Интерпретация - это размерная картина VC: во время регрессии гребня вы проверяете, насколько хорошо модель af (x, p1, p2 ...) с заданной степенью свободы описывает неопределенность, присущую данным. Практически он измеряет, насколько хорошо f (x, p1, p2 ... ) и эмпирический P (p1, p2 ...) может восстановить полное распределение P (y | x), а не только E (y | x). Таким образом, модели со слишком большой степенью свободы (которые обычно пересекаются) взвешиваются, поскольку большее значение параметра после определенной степени свободы даст большие корреляции между параметрами и, следовательно, намного шире P (f (x, p1, p2). ..)) раздачи. Другая интерпретация заключается в том, что исходная функция потерь также является измеряемой величиной, и если оценка для данной выборки сопряжена с неопределенностью, поэтому реальная задача состоит не в минимизации функции потерь, а в том, чтобы найти минимум, который значительно ниже, чем другие (практически переход от одной степени свободы к другой является байесовским решением, поэтому один изменяет количество параметров только в том случае, если они дают значительное уменьшение функции потерь). Регрессия гребня может быть интерпретирована как приближение к этим двум изображениям (размер CV, ожидаемые потери). В некоторых случаях вы хотите отдавать предпочтение более высоким степеням свободы, например, в физике элементарных частиц вы изучаете столкновение частиц, когда вы ожидаете, что произведенное число частиц будет распределением Пуассона, поэтому вы восстанавливаете трек частиц по изображению (например, фотография). ) способом, который предпочитает заданное количество дорожек и подавляет модели, которые имеют меньшую или большую интерпретацию номера дорожки по номеру.
3. В третьем случае также делается попытка внедрить априорную информацию в измерение, а именно, что из предыдущих измерений известно, что рост учеников может быть очень хорошо смоделирован с помощью гауссовских распределений, а не Коши, например.

Короче говоря, ответ заключается в том, что вы можете уменьшить неопределенность измерения, если знаете, чего ожидать, и классифицировать данные с некоторыми предыдущими данными (априорной информацией). Эти предыдущие данные ограничивают вашу функцию моделирования, которую вы используете, чтобы соответствовать измерениям. В простых случаях вы можете записать свою модель в байесовской структуре, но иногда это нецелесообразно, например, интегрируя все возможные функции непрерывного действия, чтобы найти ту, которая имеет байесовское максимальное A апостериорное значение.

Оценка Джеймса Стейна и регрессия Риджа

Рассмотреть возможность

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

$\mathbf{\epsilon}\sim N(0,\sigma^2I)$

Решение с наименьшим квадратом имеет вид

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$$\hat \beta$

Джеймс Стейн

$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$

Хребет регрессии

$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$$\hat \beta$

$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Тогда мы получим

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$