Как определить область отказа, когда нет UMP?

Рассмотрим модель линейной регрессии

, $\mathbf{y}=\mathbf{X\beta}+\mathbf{u}$

, $\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I})$

. $E(\mathbf{u}\mid\mathbf{X})=\mathbf{0}$

Пусть против . $H_0: \sigma_0^2=\sigma^2$ $H_1: \sigma_0^2\neq\sigma^2$

Мы можем сделать вывод, что , где. Иявляется типичным для обозначения матрицы аннуляторного, , где является зависимой переменнойрегрессировали на. $\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k)$ $dim(\mathbf{X})=n\times k$ $\mathbf{M_X}$ $\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}}$ $\hat{\mathbf{y}}$ $\mathbf{y}$ $\mathbf{X}$

Книга, которую я читаю, гласит следующее:

Ранее я спрашивал, какие критерии следует использовать для определения области отклонения (RR), смотрите ответы на этот вопрос , и главным был выбор RR, который сделал тест как можно более мощным.

В этом случае, поскольку альтернативой является двусторонняя составная гипотеза, обычно не существует теста UMP. Кроме того, согласно ответу, приведенному в книге, авторы не показывают, исследовали ли они мощность своего ОР. Тем не менее, они выбрали двусторонний RR. Почему это так, поскольку гипотеза «в одностороннем порядке» не определяет ОР?

Изменить: Это изображение в руководстве по решению этой книги, как решение для упражнения 4.14.

regression hypothesis-testing mathematical-statistics inference Старик в море.
источник

Пожалуйста, добавьте ссылку на книгу. Связанный: P-значение в тесте с двумя хвостами с асимметричным нулевым распределением .

Scortchi - Восстановить Монику

@ Scortchi спасибо за ссылку. Могу я кое-что спросить об этом вопросе? Вам это интересно? Я пытаюсь оценить, задаю ли я интересные вопросы, или я должен направить свои интересы в другие области ...

Старик в море.

Конечно, не все находят теорию интересной, но некоторые люди (в том числе и я) делают это, и мы отметили почти 2 тыс. Вопросовmathematical-statistics . Итак, штраф q. ИМО. Это немного обширно, но я думаю, что хороший ответ рассмотрел бы различные подходы и соображения, и мотивирующий пример очень помогает. (Я бы выбрал как можно более простой пример - тесты на дисперсию нормального распределения с известным средним или средним экспоненциального распределения.) [Кстати, я часто забываю голосовать за q, когда комментирую их .]

Scortchi - Восстановить Монику

@ Scortchi спасибо за ваш отзыв. Иногда я не уверен, правильно ли я структурирую вопрос, так как я сам изучаю это.

Старик в море.

Вы должны определить

M_{X}

$M_X$

Тейлор

Ответы:

Проще сначала проработать случай, когда известны коэффициенты регрессии, и поэтому нулевая гипотеза проста. Тогда достаточной статистикой является , где - остаток; его распределение под нулем также является хи-квадратом, масштабированным на & со степенями свободы, равными размеру выборки . $T=\sum z^2$ $z$ $\sigma^2_0$ $n$

Запишите соотношение вероятностей при и и подтвердите, что это возрастающая функция для любого : $\sigma=\sigma_1$ $\sigma=\sigma_2$ $T$ $\sigma_2 > \sigma_1$

Функция логарифмического отношения правдоподобия: , & прямо пропорциональнос положительным градиентом, когда.
$ℓ (σ_{2}; T, n) - ℓ (σ_{1}; T, n) = \frac{n}{2} \cdot [\log (\frac{σ_{1}^{2}}{σ_{2}^{2}}) + \frac{T}{n} \cdot (\frac{1}{σ_{1}^{2}} - \frac{1}{σ_{2}^{2}})]$ $\ell(\sigma_2;T,n)-\ell(\sigma_1;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{\sigma_1^2}{\sigma_2^2}\right) + \frac{T}{n} \cdot \left(\frac{1}{\sigma_1^2} - \frac{1}{\sigma_2^2}\right) \right]$ $T$ $\sigma_2>\sigma_1$

Таким образом, по теореме Карлина – Рубина каждый из односторонних тестов против & против равномерно наиболее силен. Очевидно, что нет теста UMP для против . Как обсуждено здесь $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma < \sigma_0$ $H_0:\sigma = \sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$ Проведение как односторонних тестов, так и коррекции множественных сравнений приводит к общеупотребительному тесту с одинаковыми по размеру областями отбраковки в обоих хвостах, и это вполне разумно, если вы собираетесь утверждать, что или при отклонении нуля. $\sigma>\sigma_0$ $\sigma<\sigma_0$

Далее найти отношение правдоподобия при , оценка максимального правдоподобия , & : $\sigma=\hat\sigma$ $\sigma$ $\sigma=\sigma_0$

Как $\hat\sigma^2=\frac{T}{n}$
$ℓ (\hat{σ}; T, n) - ℓ (σ_{0}; T, n) = \frac{n}{2} \cdot [\log (\frac{n σ_{0}^{2}}{T}) + \frac{T}{n σ_{0}^{2}} - 1]$ $\ell(\hat\sigma;T,n)-\ell(\sigma_0;T,n)=\frac{n}{2} \cdot \left[\log \left(\frac{n\sigma_0^2}{T}\right) + \frac{T}{n\sigma_0^2} - 1 \right]$

$H_\mathrm{A}:\sigma \neq \sigma_0$ $H_0:\sigma = \sigma_0$ $T$

$\sigma$

$\frac{d ℓ (σ; T, n)}{d σ} = \frac{T}{σ^{3}} - \frac{n}{σ}$ $\frac{\mathrm{d}\,\ell(\sigma;T,n)}{\mathrm{d}\,\sigma}=\frac{T}{\sigma^3} - \frac{n}{\sigma}$

$\sigma_0$ $H_0:\sigma=\sigma_0$ $H_\mathrm{A}:\sigma \neq \sigma_0$

$\alpha$ $\phi(T)= 1$ $T<c_1$ $T>c_2$ $\phi(T)= 0$

\begin{aligned} E (ϕ (T)) & = α \\ E (T ϕ (T)) & = α E T \end{aligned}

$\begin{align} \operatorname{E}(\phi(T)) &= \alpha \\ \operatorname{E}(T\phi(T)) &= \alpha \operatorname{E} T \end{align}$

График помогает показать смещение в тесте равных хвостовых областей и как оно возникает:

$\sigma$ $\sigma_0$

Быть беспристрастным - это хорошо; но это не самоочевидно, что иметь мощность, немного меньшую, чем размер в небольшой области пространства параметров в альтернативе, настолько плохо, что исключить тест в целом.

Два из вышеупомянутых двусторонних тестов совпадают (для этого случая, вообще не):

LRT является UMP среди объективных тестов. В тех случаях, когда это не так, LRT может быть асимптотически беспристрастным.

Я думаю, что все, даже односторонние тесты, допустимы, то есть нет теста более мощного или столь же мощного при всех альтернативах - вы можете сделать тест более сильным по сравнению с альтернативами в одном направлении, только сделав его менее сильным по сравнению с альтернативами в другом направление. По мере увеличения размера выборки распределение хи-квадрат становится все более и более симметричным, и все двусторонние тесты в конечном итоге будут практически одинаковыми (еще одна причина использования простого теста с равными хвостами).

С составной нулевой гипотезой аргументы становятся немного более сложными, но я думаю, что вы можете получить практически те же результаты, mutatis mutandis. Обратите внимание, что один, но не другой из односторонних тестов - это UMP!

Scortchi - Восстановить Монику
источник

Scortchi спасибо за ваш ответ. У меня все еще есть некоторые сомнения. Во-первых, не могли бы вы подробнее остановиться на следующем предложении? «Применение коррекции множественных сравнений приводит к общепринятому тесту с одинаковыми по размеру областями отклонения в обоих хвостах, и это вполне разумно, когда вы собираетесь утверждать, что σ> σ0 или σ <σ0, когда вы отклоняете ноль». Кроме того, почему вы говорите, что это разумно? Я думаю, что это суть моего вопроса, если я не ошибаюсь. ;)

Старик в море.

Я прочитал этот абзац из вашего связанного ответа, но не очень хорошо его понял: «Удвоение минимального одностороннего p-значения можно рассматривать как исправление множественных сравнений для проведения двух односторонних испытаний». Я был бы благодарен, если бы вы могли объяснить это немного подробнее. ;)

Старик в море.

α / 2

$\alpha/2$

α

$\alpha$

α

$\alpha$

В этом случае, поскольку альтернативой является двусторонняя составная гипотеза, обычно не существует теста UMP.

Я не уверен, правда ли это вообще. Конечно, многие классические результаты (Неймон-Пирсон, Карлин-Рубин) основаны либо на простой, либо на односторонней гипотезе, но обобщения на двустороннюю составную гипотезу существуют. Вы можете найти некоторые заметки по этому вопросу здесь , и больше обсуждения в учебнике здесь .

$\chi^2$

Greenparker
источник

σ_{0}

$\sigma_0$