Почему достаточная статистика содержит всю информацию, необходимую для вычисления какой-либо оценки параметра?

Я только начал изучать статистику, и я не могу получить интуитивное понимание достаточности. Чтобы быть более точным, я не могу понять, как показать, что следующие два абзаца эквивалентны:

Грубо говоря, с учетом набора X независимых идентично распределенных данных, обусловленных неизвестным параметром θ, достаточной статистикой является функция T (X), значение которой содержит всю информацию, необходимую для вычисления любой оценки параметра.

Статистика T (X) достаточна для лежащего в основе параметра θ именно в том случае, если распределение условной вероятности данных X, учитывая статистику T (X), не зависит от параметра θ.

(Я взял цитаты из достаточной статистики )

Хотя я понимаю второе утверждение и могу использовать теорему факторизации, чтобы показать, является ли данная статистика достаточной, я не могу понять, почему статистика с таким свойством также обладает тем свойством, что она «содержит всю информацию, необходимую для вычисления любого оценка параметра ». Я не ищу формального доказательства, которое в любом случае помогло бы уточнить мое понимание, я хотел бы получить интуитивное объяснение того, почему эти два утверждения эквивалентны.

Напомним, мои вопросы: почему два утверждения эквивалентны? Может ли кто-нибудь дать интуитивное объяснение их эквивалентности?

sufficient-statistics gcoll
источник

Основная интуитивная идея заключается в том, что вам иногда не нужно видеть весь образец, потому что вы можете найти статистику, которая суммирует всю информацию, необходимую из образца. Возьмите, например, биномиальное распределение: все, что вам нужно знать для вашей модели, это сумма успехов. Вы не потеряете ничего ценного , если бы я только сказать, что

, вместо того , чтобы показать вам весь набор дискретных значений

\sum_{i}^{n} x_{i} = c

$\sum_{i}^{n} x_i = c$

x = {1, 0, 0, 1, 0, 1, . . .}

$x = \{1, 0, 0, 1, 0, 1, ... \}$

Mugen

Я понимаю, почему мне нужна достаточная статистика и как показать, что сумма успехов является достаточной статистикой для p в процессе Бернулли. Я не понимаю, почему статистика, подобная описанной во втором абзаце, содержит всю информацию, необходимую для вычисления любой оценки параметра.

gcoll

Строго говоря, первая цитата просто неверна. Существует множество оценщиков, которые могут быть вычислены из всего набора данных, которые не могут быть вычислены исключительно из достаточных статистических данных. Это одна из причин, по которой цитата начинается примерно. Другая причина в том, что он не дает количественного или строгого определения «информации». Поскольку гораздо более точная (но все еще интуитивная) характеристика была дана в предыдущем абзаце, тем не менее, есть небольшая проблема с этой цитатой в надлежащем контексте.

whuber

Это связано с максимальной вероятностью, и это, по сути, информация, необходимая для максимальной вероятности

Kamster

После комментариев whuber и @Kamster, я, вероятно, лучше понял. Когда мы говорим, что достаточная статистика содержит всю информацию, необходимую для вычисления любой оценки параметра, действительно ли мы имеем в виду, что этого достаточно для вычисления оценки максимального правдоподобия (которая является функцией всей достаточной статистики)? Если это действительно так, то проблема была связана с (не) определением «информации», как предложил Уабер, и на мой вопрос дан ответ.

gcoll

Ответы:

После комментариев @whuber и @Kamster, я, вероятно, лучше понял. Когда мы говорим, что достаточная статистика содержит всю информацию, необходимую для вычисления любой оценки параметра, мы на самом деле имеем в виду, что достаточно рассчитать оценку максимального правдоподобия (которая является функцией всей достаточной статистики).

Учитывая, что я отвечаю на свой вопрос, и поэтому я не на 100% уверен в ответе, я не буду отмечать его как правильный, пока не получу некоторую обратную связь. Пожалуйста, добавьте любой комментарий и проголосуйте, если вы думаете, что я ошибаюсь / неточен / и т.д ...

(Дайте мне знать, если это не совместимо с этикетом SE, так как это мой первый вопрос, я прошу вашей помилования, если я нарушаю какое-либо правило)

gcoll
источник

Когда я изучал достаточность, я столкнулся с вашим вопросом, потому что я также хотел понять интуицию о том, из чего я понял, что я придумаю (дайте мне знать, что вы думаете, если я допустил какие-либо ошибки и т. Д.).

Пусть - случайная выборка из распределения Пуассона со средним . $X_1,\ldots,X_n$ $\theta>0$

Известно , что является достаточной статистикой для & , так как условного распределения дано свободна от & , другими словами, не зависит от . $T({\bf{X}})=\sum_{i=1}^{n} X_i$ $\theta$ $X_1,\ldots,X_n$ $T({\bf{X}})$ $\theta$ $\theta$

Теперь статистик знает, что и создает случайных значений из этого распределения: $A$ $X_1,\ldots,X_n \overset{i.i.d}{\sim} Poisson(4)$ $n=400$

n<-400
theta<-4
set.seed(1234)
x<-rpois(n,theta)
y=sum(x)

freq.x<-table(x) # We will use this latter on
rel.freq.x<-freq.x/sum(freq.x)

Для значений , созданных статистиком , он берет сумму и спрашивает статистику следующее: $A$ $B$

«Я эти выборочные значения берется из распределения Пуассона. Зная , что , что вы можете сказать мне об этом дистрибутиве?» $x_1,\ldots,x_n$ $\sum_{i=1}^{n} x_i = y = 4068$

Так, зная , что только (а также тот факт , что образец возник из распределения Пуассона) является достаточным для статистик ничего говорить о & ? Поскольку мы знаем, что это достаточная статистика, мы знаем, что ответ «да». $\sum_{i=1}^{n} x_i = y = 4068$ $B$ $\theta$

Чтобы получить некоторое представление о значении этого, давайте сделаем следующее (взято из «Введение в математическую статистику» Хогга и Маккеана и Крейга, 7-е издание, упражнение 7.1.9):

$B$ $z_1,z_2,\ldots,z_n$ $x$ $Z_1,Z_2\ldots,Z_n$ $z_1,z_2,\ldots,z_n$ $\sum z_i = y$

\frac{\frac{θ^{z_{1}} e^{- θ}}{z_{1}!} \frac{θ^{z_{2}} e^{- θ}}{z_{2}!} \dots \frac{θ^{z_{n}} e^{- θ}}{z_{n}!}}{\frac{n θ^{y} e^{- n θ}}{y!}} = \frac{y!}{z_{1}! z_{2}! \dots z_{n}!} {(\frac{1}{n})}^{z_{1}} {(\frac{1}{n})}^{z_{2}} \dots {(\frac{1}{n})}^{z_{n}}

$\cfrac{\frac{\theta^{z_1}e^{-\theta}}{z_1!} \frac{\theta^{z_2}e^{-\theta}}{z_2!} \cdots \frac{\theta^{z_n}e^{-\theta}}{z_n!}}{\frac{n \theta^{y}e^{-n\theta}}{y!}}=\frac{y!}{z_1!z_2! \cdots z_n!} \left(\frac{1}{n}\right)^{z_1} \left(\frac{1}{n}\right)^{z_2} \cdots \left(\frac{1}{n}\right)^{z_n}$

поскольку имеет распределение Пуассона со средним . Последнее распределение является полиномиальным с независимыми испытаниями, каждое из которых заканчивается одним из взаимоисключающих и исчерпывающих способов, каждый из которых имеет одинаковую вероятность . Соответственно, проводит такой полиномиальный эксперимент независимых испытаний и получает . " $Y=\sum Z_i$ $n \theta$ $y$ $n$ $1/n$ $B$ $y$ $z_1,\ldots,z_n$

Это то, что говорится в упражнении. Итак, давайте сделаем именно это:

# Fake observations from multinomial experiment
prob<-rep(1/n,n)
set.seed(1234)
z<-as.numeric(t(rmultinom(y,n=c(1:n),prob)))
y.fake<-sum(z) # y and y.fake must be equal
freq.z<-table(z)
rel.freq.z<-freq.z/sum(freq.z)

$Z$ $k=0,1,\ldots,13$

# Verifying distributions
k<-13
plot(x=c(0:k),y=dpois(c(0:k), lambda=theta, log = FALSE),t="o",ylab="Probability",xlab="k",
     xlim=c(0,k),ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(8,0.2, legend=c("Real Poisson","Random Z given y"), 
       col = c("black","green"),pch=c(1,4))

$\theta$ $Y=\sum X_i$ $n$

$X$ $Z|y$

plot(rel.freq.x,t="o",pch=16,col="red",ylab="Relative Frequency",xlab="k",
     ylim=c(0,max(c(rel.freq.x,rel.freq.z))))
lines(rel.freq.z,t="o",col="green",pch=4)
legend(7,0.2, legend=c("Random X","Random Z given y"), col = c("red","green"),pch=c(16,4))

Мы видим, что они очень похожи (как и ожидалось)

$X_i$ $Y=X_1+X_2+\cdots+X_n$

Gus_est
источник

Позвольте мне дать другую точку зрения, которая может помочь. Это также качественно, но есть строгая версия этого, особенно важного в теории информации, известная как свойство Маркова.

$\theta$ $\theta$ $\theta$ $\theta$ обеспокоен. Обратите внимание, что в вероятностях это то, где все неопределенности фиксируются, и, следовательно, «любая оценка», когда (условные) вероятности являются независимыми (например, факторизация условных плотностей).

мессия
источник