Статистический аргумент, почему 10000 голов с 20 000 бросков указывают на неверные данные

Допустим, мы неоднократно подбрасываем справедливую монету, и мы знаем, что количество голов и хвостов должно быть примерно одинаковым. Когда мы видим результат, например, 10 голов и 10 хвостов на общую сумму 20 бросков, мы верим в результаты и склонны считать, что монета справедлива.

Хорошо, когда вы видите результат, например, 10000 голов и 10000 хвостов на общую сумму 20000 бросков, я фактически подвергаю сомнению достоверность результата (подделал ли экспериментатор данные), поскольку я знаю, что это более маловероятно, чем, скажем, результат 10093 головы и 9907 хвостов.

Какой статистический аргумент лежит в основе моей интуиции?

Если предположить, что итоговая монета дает 10000 голов и 10000 хвостов, то на самом деле она более вероятна, чем результат 10093 голов и 9907 хвостов.

Однако, когда вы говорите, что настоящий экспериментатор вряд ли сможет получить равное количество голов и хвостов, вы неявно ссылаетесь на теорему Байеса. Ваше предыдущее мнение о реальном эксперименте состоит в том, что Проб (Количество голов = 10000 при 20000 бросках | Учитывая, что экспериментатор не притворяется) близок к 0. Таким образом, когда вы видите фактический результат, «Нет голов = 10000» ваш апостериорный про Проб (экспериментатор не подделывает | наблюдаемый результат 10000 голов) также близок к 0. Таким образом, вы заключаете, что экспериментатор подделывает данные.

Мне нравится объяснение Шриканта, и я думаю, что байесовская идея, вероятно, является лучшим способом решения такой проблемы. Но вот другой способ увидеть это без Байеса: (в R)

dbinom(10, size = 20, prob = 0.5)/dbinom(10000, 20000, 0.5)

что составляет около 31,2 в моей системе. Другими словами, более чем в 30 раз больше шансов увидеть 10 из 20, чем 10 000 из 20 000, даже с честной монетой в обоих случаях. Это соотношение увеличивается без ограничений по мере увеличения размера выборки.

Это своего рода подход отношения правдоподобия, но, опять же, в моей интуиции это похоже на байесовский сужденный вызов больше, чем что-либо еще.

Субъективист байесовский аргумент является практически единственным способом (с точки зрения статистики) вы могли бы идти о понимании вашей интуиции , которая - собственно говоря - вопрос о проведении психологического исследования, а не статистические один. Однако явно несправедливо - и, следовательно, недопустимо - использовать байесовский подход, чтобы утверждать, что следователь подделал данные. Логика этого совершенно круглая: все сводится к тому, что «основываясь на моих предыдущих представлениях о результате, я нахожу ваш результат невероятным, и поэтому вы, должно быть, обманули». Такой нелогичный корыстный аргумент, очевидно, не будет стоять в зале суда или в процессе коллегиального рассмотрения.

Вместо этого мы могли бы взять подсказку из критики Рональда Фишера экспериментов Менделя и провести проверку формальной гипотезы. Конечно, недопустимо проверять постфактум гипотезу, основанную на результатах. Но эксперименты должны быть воспроизведены, чтобы поверить: это принцип научного метода. Итак, увидев один результат, который, по нашему мнению, мог бы быть подделан, мы можем сформулировать соответствующую гипотезу для проверки будущих (или дополнительных) результатов. В этом случае критическая область будет содержать набор результатов, чрезвычайно близких к ожидаемому. Например, тест в$\alpha$Уровень = 5% будет рассматривать любой результат между 9,996 и 10,004 как подозрительный, потому что (а) эта коллекция близка к нашим гипотетическим «поддельным» результатам и (б) в соответствии с нулевой гипотезой об отсутствии подделки (невиновна, пока не будет доказана вина в суде!) , результат в этом диапазоне имеет только 5% (на самом деле 5.07426%) шанс возникновения. Кроме того, мы можем поместить этот, казалось бы, специальный подход в контекст хи-квадрат (а-ля Фишер), просто возведя в квадрат отклонение между наблюдаемой пропорцией и ожидаемой пропорцией, а затем применив лемму Неймана-Пирсона в одностороннем тесте на низкий хвост и применение нормального приближения к биномиальному распределению .

Хотя такой тест не может оказаться фальшивым, его можно применить к будущим отчетам этого экспериментатора, чтобы оценить достоверность их утверждений, не делая ошибочных и неподходящих предположений, основанных только на вашей интуиции. Это гораздо более справедливо и строго, чем использовать байесовский аргумент, чтобы привлечь кого-то, кто может быть совершенно невинным и просто оказался настолько неудачливым, что получил прекрасный экспериментальный результат!

Я думаю, что ваша интуиция несовершенна. Кажется, вы неявно сравниваете один «очень особенный» результат (ровно 10000 голов) с набором множества результатов (все «не специальные» числа головок близки к 10000). Однако определение «особый» является произвольным выбором, основанным на нашей психологии. Как насчет двоичного 10000000000000 (десятичное 8192) или шестнадцатеричного ABC (десятичное 2748) - это тоже будет подозрительно особенным? Как прокомментировал Джорис Мейс, аргумент Байеса по существу будет одинаковым для любого количества голов, подразумевая, что каждый результат будет подозрительным.

Чтобы немного расширить аргумент: вы хотите проверить гипотезу («экспериментатор притворяется»), а затем выберите статистику теста (количество головок). Теперь, подходит ли эта тестовая статистика, чтобы рассказать вам что-то о вашей гипотезе? Мне кажется, выбранная статистика теста не информативна (не является функцией параметра, указанного в гипотезе как фиксированное значение). Это возвращает нас к вопросу, что вы подразумеваете под «обманом». Если это означает, что экспериментатор контролирует монету по желанию, то это не отражается в статистике теста. Я думаю, что вам нужно быть более точным, чтобы найти поддающийся количественному измерению показатель и, таким образом, сделать вопрос пригодным для статистической проверки.

Вывод, который вы сделаете, будет ОЧЕНЬ зависеть от того, как вы выбрали ранее, для вероятности мошенничества и предыдущей вероятности того, что, учитывая, что флиппер лжет, сообщается о x головах.

По моему мнению, наибольший вклад в P (10000 голов | ложь) немного противоречит интуиции. Если репортер не наивен, я не могу представить, чтобы кто-либо сообщал о фальсифицированных данных такого рода (в основном по причинам, которые вы упомянули в оригинальном сообщении; это слишком подозрительно для большинства людей). Если монета действительно несправедлива и флиппер должен был сообщить фальсифицированные данные, тогда я думаю, что более разумным (и очень приблизительным) предшествующим сообщенным результатам может быть дискретная равномерная априорная P (X голов сообщается | лежа) = 1/201 для целых чисел {9900, ..., 10100} и P (х голов сообщили | лежа) = 0 для всех других х. Предположим, что вы думаете, что предыдущая вероятность лжи равна 0,5. Тогда некоторые последующие вероятности:

P (лежащий | сообщил о 9900 головах) = P (лежачий | сообщил о 10100 головах) = 0,70;

P (лежа | сообщил о 9950 головах) = P (лежа | сообщил о 10050 головах) = 0,54;

P (лежащий | 10000 голов сообщили) = 0,47.

Наиболее разумное количество заявленных голов из честной монеты приведет к подозрению. Просто чтобы показать, насколько чувствительны апостериорные вероятности к вашим априорам, если предыдущая вероятность мошенничества снижена до 0,10, то апостериорные вероятности становятся:

P (лежащий | 9900 голов сообщили) = P (лежащий | 10100 голов сообщил) = 0,21;

P (лежа | сообщил о 9950 головах) = P (лежа | сообщил о 10050 головах) = 0,11;

P (лежащий | 10000 голов сообщили) = 0,09.

Поэтому я думаю, что оригинальный (и высоко оцененный ответ) может быть немного расширен; Вы ни в коем случае не должны делать вывод, что данные фальсифицированы без тщательного рассмотрения предварительной информации. Кроме того, если думать об этом интуитивно, то кажется, что на задние вероятности лжи, скорее всего, больше влияет предшествующая вероятность лжи, а не предыдущее распределение голов, о которых сообщалось, учитывая, что ласты лгут (за исключением приоры, которые ставят все их масса на небольшом количестве головок, о которых сообщается, лежит на плавнике, как в моем примере.)

Для байесовского объяснения необходимо предварительное распределение вероятностей по полученным результатам с помощью флиппера лживых монет, а также предварительная вероятность лжи. Когда вы видите значение, которое гораздо более вероятно при распределении лжи, чем случайное переворачивание, это делает вашу заднюю вероятность лжи намного выше.