Почему мы не используем t-распределение для построения доверительного интервала для пропорции?

18

Чтобы рассчитать доверительный интервал (CI) для среднего значения с неизвестным стандартным отклонением популяции (sd), мы оцениваем стандартное отклонение популяции, используя t-распределение. Примечательно, что CI=X¯±Z95%σX¯ где σX¯=σn . Но поскольку у нас нет точечной оценки стандартного отклонения совокупности, мы оцениваем через приближениеCI=X¯±t95%(se)гдеse=sn

И наоборот, для пропорции населения, рассчитать CI, аппроксимировать , как CI=p^±Z95%(se) где sезнак равноп^(1-п^)N при условииNп^15иN(1-п^)15

Мой вопрос: почему мы удовлетворены стандартным распределением доли населения?

Abhijit
источник
1
Моя интуиция говорит, что это потому, что для получения стандартной ошибки среднего у вас есть второе неизвестное, σ , которое оценивается по выборке для завершения вычисления. Стандартная ошибка для пропорции не включает никаких дополнительных неизвестных.
Восстановить Монику - Дж. Симпсон
@GavinSimpson Звучит убедительно. Фактически причина, по которой мы ввели распределение t, состоит в том, чтобы компенсировать введенную ошибку, чтобы компенсировать приближение стандартного отклонения.
Абхиджит
3
Я нахожу это менее чем убедительным отчасти потому, что распределение возникает из независимости дисперсии выборки и среднего значения выборки в выборках из нормального распределения, тогда как для выборок из биномиального распределения эти две величины не являются независимыми. T
whuber
@Abhijit Некоторые учебники используют t-распределение в качестве аппроксимации для этой статистики (при определенных условиях) - они, похоже, используют n-1 в качестве df. Хотя мне еще предстоит найти хороший формальный аргумент для этого, аппроксимация, похоже, часто работает довольно хорошо; для случаев, которые я проверил, обычно это немного лучше, чем нормальное приближение (но для этого есть твердый асимптотический аргумент, которого нет в t-приближении). [Редактировать: мои собственные чеки были более или менее похожи на те whuber шоу; разница между z и t намного меньше их несоответствия статистике]
Glen_b
1
Возможно, что существует возможный аргумент (например, основанный на ранних терминах расширения серии), который может установить, что почти всегда следует ожидать, что t будет лучше, или, возможно, он должен быть лучше в некоторых конкретных условиях, но я не видел ни одного аргумента такого рода. Лично я обычно придерживаюсь z, но я не волнуюсь, если кто-то использует т.
Glen_b

Ответы:

20

Как стандартное нормальное распределение, так и распределение Стьюдента довольно плохое приближение к распределению

Z=p^pp^(1p^)/n

при малом n, так бедно , что ошибка затмевает различия между этими двумя распределениями.

Вот сравнение всех трех распределений (исключив случаи , когда р или 1 - р равны нулю, где неопределенное отношение) для п = 10 , р = 1 / 2 :p^1p^n=10,p=1/2:

фигура 1

«Эмпирическое» распределение является то , что Z, который должен быть дискретным , поскольку оценки р ограничены конечного множества { 0 , 1 / п , 2 / п , ... , п / п } .p^{0,1/n,2/n,,n/n}.

Распределение t кажется, делает лучшую работу приближения.

Для n=30 и p=1/2, вы можете увидеть разницу между стандартными распределениями нормальных и Стьюдента совершенно незначительна:

фигура 2

Поскольку t-распределение Стьюдента является более сложным, чем стандартное Normal (на самом деле это целое семейство распределений, индексируемых «степенями свободы», для которых раньше требовались целые главы таблиц, а не одна страница), стандартный Normal используется почти для всех приближения.

Whuber
источник
2
Качественный ответ. +1
Димитрий Пананос
10

Обоснование использования t-распределения в доверительном интервале для среднего значения основывается на предположении, что базовые данные следуют нормальному распределению, что приводит к распределению хи-квадрат при оценке стандартного отклонения и, таким образом, x¯μs/ntn1. Это точный результат в предположении, что данные являются в точности нормальными, что приводит к доверительным интервалам с ровно 95% -ным охватом при использованииtи менее 95% -ным охватом при использованииz.

В случае интервалов Wald для пропорций, вы получите только асимптотическую нормальность для р - рp^pp^(1p^)/nкогда п достаточно велико, что зависит от р. Фактическая вероятность охвата процедуры, поскольку основные показатели успеха являются дискретными, иногда ниже, а иногда и выше номинальной вероятности охвата в 95% в зависимости от неизвестного значенияp. Таким образом, нет никакого теоретического обоснования использованияt, и нет никакой гарантии, что с практической точки зрения использованиеtтолько для того, чтобы увеличить интервалы, фактически помогло бы достичь номинального покрытия в 95%.

Вероятность покрытия может быть точно рассчитана, хотя ее довольно просто смоделировать. В следующем примере показана моделируемая вероятность покрытия при n = 35. Это демонстрирует, что вероятность покрытия для использования z-интервала, как правило, немного меньше, чем 0,95, в то время как вероятность покрытия для T-интервала, как правило, может быть немного ближе к 0,95 в среднем, в зависимости от ваших предыдущих предположений о вероятных значениях p ,

введите описание изображения здесь

введите описание изображения здесь

JSK
источник
3
+1 Это отличные иллюстрации заявлений, которые я сделал (основанных только на проверке графиков CDF, а не строгих демонстраций) об относительной точности студенческих и нормальных КИ.
whuber
6

И AdamO, и JSK дают отличный ответ.

Я бы попробовал повторить их пункты простым английским языком

Когда базовое распределение нормальное, вы знаете, что есть два параметра: среднее значение и дисперсия . T-распределение предлагает способ сделать вывод о среднем, не зная точного значения дисперсий. Вместо использования фактических отклонений требуются только выборочные средние значения и выборочные отклонения. Поскольку это точное распределение, вы точно знаете, что вы получаете. Другими словами, вероятность покрытия верна. Использование t просто отражает желание обойти неизвестную дисперсию населения.

Однако, когда мы делаем вывод о пропорции, базовое распределение является биномиальным. Чтобы получить точное распределение, вам нужно взглянуть на доверительные интервалы Клоппера-Пирсона. Формула, которую вы предоставляете, - это формула для доверительного интервала Вальда. Для аппроксимации биномиального распределения используется нормальное распределение, поскольку нормальное распределение является ограничивающим распределением биномиального распределения. В этом случае, поскольку вы только приближаетесь, дополнительный уровень точности при использовании t-статистики становится ненужным, все сводится к эмпирической производительности. Как указывалось в ответе BruceET, Agresti-Coull является простой и стандартной формулой в наше время для такого приближения.

Мой профессор доктор Лонгнекер из Техаса A & M провел простую симуляцию, чтобы проиллюстрировать, как работает другое приближение по сравнению с биномиальной КИ.

Сравнение различных 95% ДИ для пропорции

Дополнительную информацию можно найти в статье Оценка интервалов для биномиальной пропорции в статистической науке , том. 16, pp.101-133, L. Brown, T. Cai и A. DasGupta. В основном, AC CI рекомендуется для n> = 40.

введите описание изображения здесь

Цилинь Ван
источник
3

X1,X2,XnμσH0:μ=μ0Ha:μμ0Z=X¯μ0σ/n.H0ZNorm(0,1),H0|Z|1.96.

μμ0μ.X¯±1.96σ/n,±1.96

σS,T=X¯μ0S/n.TnSσ.

TT(ν=n1),n1σX¯±tS/n,±tT(n1).

n>30,t21.96.Sσσn>30,

Xnp^=X/np.H0:p=p0Ha:pp>0,Z=p^p0p0(1p0)/n.H0,ZaprxNorm(0,1).H0|Z|1.96.

p,p^±1.96p(1p)n.pn,p^p.p^±1.96p^(1p^)n.n

nˇ=n+4pˇ=(X+2)/nˇpˇ±1.96pˇ(1pˇ)nˇ.

μp

Sσσ

p^pп^ оба зависят от п, Agresti-Coull CI предоставляет один исправный способ получения CI для биномиального п которые достаточно точны даже для умеренно малых N,

BruceET
источник
2

Обратите внимание на ваше использование σ обозначение, которое означает (известное) стандартное отклонение населения.

T-распределение возникло как ответ на вопрос: что происходит, когда вы не знаете σ?

Он отметил, что, когда вы обманываете, оценивая σИсходя из примера оценки подключаемых модулей, ваши CI в среднем слишком узкие. Это потребовало Т-распределения.

И наоборот, если вы используете дистрибутив T , когда вы на самом деле сделать ноуσВаши доверительные интервалы в среднем будут слишком широкими.

Also, it should be noted that this question mirrors the answer solicited by this question.

AdamO
источник
2
The pseudonym Gosset published under was "Student" not "Student-T". He also didn't actually come up with the standard t-distribution itself, nor was the statistic he dealt with actually the t-statistic (he did equivalent things, essentially dealing with a scaled t, but almost all the formalism we have now comes from Fisher's work). Fisher wrote the statistic the way we write it. Fisher called it the t. Fisher formally derived the distribution of the statistic (showing Gosset's combination of algebra, intuition and accompanying simulation-argument about his version of the statistic was correct)
Glen_b -Reinstate Monica
1
See Gosset's 1908 paper here: archive.org/details/biometrika619081909pear/page/n13 - there's also a nice readable pdf of the paper redone in LaTeX here. Note that this is out of copyright since it comes more than a few years before Steamboat Willie.
Glen_b -Reinstate Monica
@Glen_b Thanks! I deleted the apparently wrong anecdotes to history.
AdamO