Парадокс данных iid (по крайней мере для меня)

24

Насколько позволяют мои совокупные (и скудные) знания по статистике, я понял, что если - это случайные переменные, то, как следует из этого термина, они независимы и одинаково распределены.X1,X2,...,Xn

Здесь меня интересует прежнее свойство примеров iid, которое гласит:

p(Xn|Xi1,Xi2,...,Xik)=p(Xn),

для любой коллекции различных s st . 1 i j < niJ1яJ<N

Однако известно, что совокупность независимых выборок идентичных распределений предоставляет информацию о структуре распределения и, как следствие, о в вышеприведенном случае, поэтому действительно не должно быть так, чтобы: р ( Х п | Х я 1 , Х я 2 , . . . , Х я к ) = р ( х п ) .ИксN

п(ИксN|Икся1,Икся2,,,,,ИксяК)знак равноп(ИксN),

Я знаю, что я жертва заблуждения, но я не знаю почему. Пожалуйста, помогите мне в этом.

Cupitor
источник
Знаете ли вы правило Байеса? Слышал о классике. против байесовской статистики? Приоры?
Мэтью Ганн
1
Я не слежу за аргументом в конце вашего вопроса. Можете ли вы быть более явным?
Glen_b
@Glen_b что именно ты не следуешь? Что вы подразумеваете под концом этого? Я пытаюсь сказать, что с разными логиками и равенство, и неравенство кажутся правдоподобными, что является парадоксом.
Купитор
Здесь нет парадокса - просто отказ применить соответствующие определения. Вы не можете утверждать, что у вас есть парадокс, когда вы игнорируете значение слов, которые вы используете! В этом случае сравнение определения независимого с определением вероятности покажет ошибку.
whuber
@whuber, я полагаю, вы заметили явное «(по крайней мере для меня)» в названии моего вопроса, а также тот факт, что я прошу помощи, чтобы найти «ошибочность» моего аргумента, который указывает на тот факт, что это это действительно не настоящий парадокс.
Купитор

Ответы:

30

Я думаю, что вы путаете оценочную модель распределения со случайной величиной . Давайте перепишем предположение о независимости следующим образом: который говорит, что если вы знаете базовое распределение (и, например, можете идентифицировать его по набору параметров ), тогда распределение не изменится, учитывая, что вы наблюдали несколько выборок из него. Xnθ

(1)п(ИксN|θ,Икся1,Икся2,...,ИксяК)знак равноп(ИксN|θ)
ИксNθ

Например, представьте, что - это случайная величина, представляющая результат броска монеты. Знание вероятности головы и хвоста для монеты (которая, между прочим, предположим, закодировано в ) достаточно, чтобы узнать распределение . В частности, результат предыдущих бросков не изменяет вероятность головы или хвоста для броска, и имеет место. n θ X n n ( 1 )ИксNNθИксNN(1)

Обратите внимание, однако, что .п(θ|ИксN)п(θ|Икся1,Икся2,...,ИксяК)

Sobi
источник
Большое спасибо. Вполне до сути. Довольно забавно, что я додумался до такого ответа некоторое время назад, но я забыл об этом .... Так что, насколько я понимаю, ошибка заключается в неявном предположении «модели», которая может параметризовать распределение случайной величины. Я правильно понял?
Купитор
1
@Cupitor: Я рад, что это было полезно. Да, в зависимости от модели независимые случайные величины не влияют друг на друга. Но насколько вероятно, что данный дистрибутив сгенерировал последовательность изменений результатов, когда вы увидите больше выборок из базового (истинного) распределения (независимо от предположения о независимости).
Соби
15

Если вы берете байесовский подход и рассматриваете параметры, описывающие распределение как случайную переменную / вектор, тогда наблюдения действительно не являются независимыми, но они будут условно независимы, учитывая знание следовательно, будет иметь место.θ P ( X nX n - 1 , X 1 , θ ) = P ( X nθ )Иксθп(ИксN|ИксN-1,...Икс1,θ)знак равноп(ИксN|θ)

В классическом статистическом подходе, является не случайной величиной. Расчеты производятся так, как будто мы знаем, что такое . В некотором смысле, вы всегда обусловливаете (даже если вы не знаете значение).θ θθθθ

Когда вы писали «... предоставить информацию о структуре распределения и, как следствие, о », вы неявно принимали байесовский подход, но не делали его точно. Вы пишете свойство примеров IID, которое будет записывать частый участник, но соответствующее утверждение в байесовской установке будет связано с условием . θИксNθ

Байесовский против классических статистиков

Пусть будет результатом подбрасывания односторонней нечестной монеты. Мы не знаем вероятность того, что монета приземлится головой.Икся

  • Для классического статистика, часто встречающегося, является некоторым параметром, назовем его . Заметьте, что здесь скаляр, как число 1/3. Мы можем не знать, что это за число, но это какое-то число! Это не случайно!п(Иксязнак равноЧАС)θθ
  • Для байесовского статистика сама по себе является случайной величиной! Это очень разные!θ

Ключевая идея здесь заключается в том, что байесовский статистик распространяет инструменты вероятности на ситуации, в которых классический статистик этого не делает . Для часто встречающегося, не случайная переменная, потому что она имеет только одно возможное значение ! Множественные результаты не возможны! В воображении Байеса, тем не менее, возможны множественные значения , и Байесов готов смоделировать эту неопределенность (в своем собственном уме), используя инструменты вероятности.θθ

Куда это идет?

Допустим, мы подбрасываем монету раз. Один бросок не влияет на результат другого. Классический статистик назвал бы эти независимые сальто (и они действительно есть). У нас будет: где неизвестно параметр. (Помните, мы не знаем, что это такое, но это не случайная величина! Это какое-то число.)P ( x n = H xN

п(ИксNзнак равноЧАС|ИксN-1,ИксN-2,...,Икс1)знак равноп(ИксNзнак равноЧАС)знак равноθ
θ

Байесовский глубоко в субъективной вероятности сказал бы, что имеет значение вероятность с ее точки зрения! , Если она видит 10 голов подряд, 11-я голова более вероятна, потому что 10 голов подряд приводят к тому, что монета склоняется в сторону голов.

п(Икс11знак равноЧАС|Икс10знак равноЧАС,Икс9знак равноЧАС,...,Икс1знак равноЧАС)>п(Икс1знак равноЧАС)

Что здесь произошло? Что отличается?! Обновление убеждений о скрытой случайной переменной ! Если рассматривается как случайная переменная, сальто больше не являются независимыми. Но сальто условно независимы, учитывая значение .θθθ

п(Икс11знак равноЧАС|Икс10знак равноЧАС,Икс9знак равноЧАС,...,Икс1знак равноЧАС,θ)знак равноп(Икс1знак равноЧАС|θ)знак равноθ

Обусловливание в некотором смысле связывает то, как байесовский и классический статистик моделируют проблему. Или, другими словами, специалист по частоте и Байесовский статистик согласятся, если Байесовские условия будут .θθθ

Дальнейшие заметки

Я старался изо всех сил, чтобы сделать краткое введение здесь, но то, что я сделал, в лучшем случае довольно поверхностно, и концепции в некотором смысле довольно глубоки. Если вы хотите окунуться в философию вероятности, книга Сэвиджа 1954 года « Фонд статистики» - это классика. Google для байесовских и частых, и множество вещей придет.

Еще один способ думать о розыгрышах IID - это теорема де Финетти и понятие взаимозаменяемости . В байесовской структуре взаимозаменяемость эквивалентна независимости, обусловленной некоторой скрытой случайной величиной (в данном случае однобокость монеты).

Мэтью Ганн
источник
По сути, байесовский подход будет рассматривать утверждение «случайные переменные iid» не как аксиому, что они должны быть IID, а как очень сильное предварительное предположение, что они таковы - и если даже более убедительные доказательства предполагают, что крайне маловероятно, что данное если предположения верны, то это «неверие в данные условия» будет отражено в результатах.
Петерис
Большое спасибо за ваш исчерпывающий ответ. Я проголосовал за это, но я думаю, что ответ Соби более четко указывает, в чем заключается проблема, то есть неявно предполагая структуру модели (или это, насколько я понял)
Cupitor
1
@ Мэтью Ганн: аккуратно, тщательно и очень хорошо объяснил! Я узнал несколько вещей из вашего ответа, спасибо!
Соби