Решение немецкой проблемы танков

Есть ли формальное математическое доказательство того, что решение немецкой проблемы танков является функцией только параметров k (количество наблюдаемых образцов) и m (максимальное значение среди наблюдаемых образцов)? Другими словами, можно ли доказать, что решение не зависит от других значений выборки, кроме максимального значения?

mathematical-statistics sufficient-statistics Богдан Александру
источник

Вы спрашиваете, как показать, что максимума выборки достаточно для параметра

θ

$\theta$ задающего верхнюю границу дискретного равномерного распределения от 1 до

θ

$\theta$ .

Scortchi - Восстановить Монику

Теорема Фишера-Неймана о факторизации Функция правдоподобия, вероятность

k

$k$ наблюдаемых образцов (суммированных по максимуму

m

$m$ ) с учетом параметров

n

$n$ (количество резервуаров) может быть полностью записана в терминах

k

$k$ и

Это будет ответ?

m

$m$

Pr (M = m | n, k) = {\begin{cases} 0 & if m > n \\ \frac{(\binom{m - 1}{k - 1})}{(\binom{n}{k})} & if m \leq n, \end{cases}

$\Pr(M=m | n,k) = \begin{cases} 0 &\text{if } m > n \\ \frac{\binom{m - 1}{k - 1}}{\binom n k} &\text{if } m \leq n, \end{cases}$

Секст Эмпирик

@ Scortchi, это правильно, спасибо, что перефразировал это для меня более ясно.

Богдан Александру

@MartijnWeterings нет; по сути, я прошу (цитируя комментарий Сортки выше) доказательства того, что выборочного максимума достаточно для решения без фактического вычисления решения.

Богдан Александру

Таким образом, вы не ищете теорему Фишера Неймана в качестве доказательства?

Секст Эмпирик

Ответы:

Вероятность

Распространенные проблемы в теории вероятностей относятся к вероятности наблюдений при наличии определенной модели и заданных параметров (назовем их ). Например, вероятности для определенных ситуаций в карточных играх или играх в кости часто очень просты. $x_1, x_2, ... , x_n$ $\theta$

Однако во многих практических ситуациях мы имеем дело с обратной ситуацией ( логическая статистика ). То есть: дано наблюдение и теперь модель неизвестна , или, по крайней мере, мы не знаем определенные параметры . $x_1, x_2, ... , x_k$ $\theta$

В задачах такого типа мы часто ссылаемся на термин, называемый вероятностью параметров, , который представляет собой показатель веры в определенный параметр учетом наблюдений . Этот термин выражается как пропорциональный вероятности для наблюдений при условии, что параметр модели будет гипотетически верным. $\mathcal{L(\theta)}$ $\theta$ $x_1, x_2, .. x_k$ $x_1, x_2, .. x_k$ $\theta$

L (θ, x_{1}, x_{2}, . . x_{k}) \propto probability observations x_{1}, x_{2}, . . x_{k} given θ

$\mathcal{L}(\theta,x_1, x_2, .. x_k) \propto \text{probability observations $x_1, x_2, .. x_k$ given $\theta$ }$

Для данного значения параметра чем более вероятно определенное наблюдение (относительно вероятности с другими значениями параметра), тем больше наблюдение поддерживает этот конкретный параметр (или теорию / гипотезу, которая предполагает этот параметр) , (Относительная) высокая вероятность укрепит наше мнение о значении этого параметра ( об этом можно сказать гораздо более философски ). $\theta$ $x_1, x_2, .. x_n$

Вероятность возникновения проблемы с немецким танком

Теперь для задачи немецкого танка функция правдоподобия для набора образцов : $x_1, x_2, .. x_k$

L (θ, x_{1}, x_{2}, . . x_{k}) = Pr (x_{1}, x_{2}, . . x_{k}, θ) = {\begin{cases} 0 & if max (x_{1}, x_{2}, . . x_{k}) > θ \\ {(\binom{θ}{k})}^{- 1} & if max (x_{1}, x_{2}, . . x_{k}) \leq θ, \end{cases}

$\mathcal{L}(\theta,x_1, x_2, .. x_k ) = \Pr(x_1, x_2, .. x_k, \theta) = \begin{cases} 0 &\text{if } \max(x_1, x_2, .. x_k) > \theta \\ {{\theta}\choose{k}}^{-1} &\text{if } \max(x_1, x_2, .. x_k) \leq \theta, \end{cases}$

Наблюдаете ли вы образцы {1, 2, 10} или образцы {8, 9, 10}, не должно иметь значения, когда образцы рассматриваются из равномерного распределения с параметром . Обе выборки одинаково вероятны с вероятностью и, используя идею вероятности, одна выборка не говорит больше о параметре чем другая выборка. $\theta$ ${{\theta}\choose{3}}^{-1}$ $\theta$

Высокие значения {8, 9, 10} могут заставить вас думать / полагать, что должно быть выше. Но только значение {10} действительно дает вам соответствующую информацию о вероятности (значение 10 говорит о том, что будет равно десяти или выше, остальные значения 8 и 9 не вносят в эту информацию никакой информации). ). $\theta$ $\theta$ $\theta$

Теорема Фишера-Неймана о факторизации

Эта теорема говорит вам, что некоторой статистики (т. Некоторой функции наблюдений, такой как среднее значение, медиана или, как в немецкой задаче танка максимум) достаточно (содержит всю информацию), когда вы можете вынесем, в функции правдоподобия, условия, которые зависят от других наблюдений , так что этот фактор не зависит от как параметр и (и та часть функции правдоподобия, которая связывает данные с гипотетическими значениями параметров, зависит только от статистики, но не от всех данных / наблюдений). $T(x_1, x_2, … , x_k)$ $x_1, x_2, … , x_k$ $\theta$ $x_1, x_2, … , x_k$

Случай немецкого танка прост. Вы можете видеть выше, что все выражение для приведенного выше правдоподобия уже зависит только от статистики а остальные значения не имеют значения. $\max(x_1, x_2, .. x_k)$ $x_1, x_2, .. x_k$

Маленькая игра как пример

Допустим, мы играем в следующую игру несколько раз: сама является случайной величиной и рисуется с равной вероятностью либо 100, либо 110. Затем мы рисуем образец . $\theta$ $x_1,x_2,...,x_k$

Мы хотим выбрать стратегию угадывания , основанную на наблюдаемых которая максимизирует нашу вероятность иметь правильное предположение . $\theta$ $x_1,x_2,...,x_k$ $\theta$

Правильной стратегией будет выбор 100, если только одно из чисел в выборке не будет> 100.

У нас может возникнуть соблазн выбрать значение параметра 110 уже тогда, когда многие из имеют тенденцию иметь все высокие значения, близкие к сотне (но ни один из них не превышает 100), но это было бы неправильно. Вероятность такого наблюдения будет больше, когда истинное значение параметра равно 100, чем когда оно равно 110. Поэтому, если мы предположим, что в такой ситуации значение 100 равно значению параметра, мы с меньшей вероятностью допустим ошибку (поскольку Ситуация с этими высокими значениями, близкими к сотне, но все еще ниже ее, возникает чаще в случае, когда истинное значение равно 100, а не в случае, когда истинное значение равно 110). $x_1,x_2,...,x_k$

Секст Эмпирик
источник

Круто, именно то, что мне было нужно! Просто один комментарий к вашей последней круглой скобке: вы говорите «эти высокие значения, близкие к сотне, встречаются чаще ...», и я понимаю, почему это так, но просто для уточнения: любое значение от 1 до 100 более вероятно когда, если параметр равен 100 (по существу, вероятность для каждого числа в 1-100 равна 1 / параметр).

Богдан Александру

Кроме того, теперь ваш первоначальный комментарий к моему посту имеет смысл - если бы я знал, как применять эти концепции, ваш комментарий был бы именно той подсказкой, которая мне понадобилась бы для получения доказательства. Еще раз спасибо!

Богдан Александру

@ БогданАлександру ты прав; это верно для любого значения от 1 до 100. Это противоречивая идея: мы склонны думать, что более высокие наблюдаемые значения как-то более убедительны для некоторого значения параметра, чем низкие наблюдаемые значения, но для любого числа одинаково вероятны и, таким образом, не влияют / не должны влиять на наше мнение о параметре модели За исключением максимального значения, которое мы наблюдаем. Но даже в игре, которую я сделал, только с выбором между двумя значениями. Он таков, что даже максимум не дает больше информации, когда он выше или ниже, за исключением границы сотен).

Секст Эмпирик

Мой первоначальный комментарий, возможно, был слишком тяжелым, но я просто пытался понять, какой ответ нужен. Особенно я нахожу термин «доказательство» немного сильным, и мне было интересно, искали ли вы просто теорему факторизации (на вопрос, на который ответили бы «да», если вы не знали бы эту теорему), или же вы искали что-то более расплывчатое и философские, как даже сложные концепции статистики / вероятности и выход за рамки такой теоремы, чтобы искать другой тип «доказательства».

Секст Эмпирик

Тогда читайте о моих намерениях! Еще раз спасибо.

Богдан Александру

Вы не представили точную формулировку «проблемы», поэтому не совсем ясно, что вы хотите доказать. С байесовской точки зрения апостериорная вероятность зависит от всех данных. Однако каждое наблюдение определенного серийного номера будет поддерживать этот номер в наибольшей степени. То есть при любом наблюдении отношение шансов между апостериорным и предыдущим будет больше для гипотезы «фактическое количество танков равно », чем для «фактического количества танков [число, отличное от ]». Таким образом, если мы начнем с равномерного априора, то будет иметь самый высокий апостериор после наблюдения этого наблюдения. $n$ $n$ $n$ $n$

Рассмотрим случай, когда у нас есть точка данных и гипотезы . Очевидно, апостериор для равен нулю. И наши постеры для будут больше, чем их предыдущие. Причина этого заключается в том, что в байесовских рассуждениях отсутствие доказательств является доказательством отсутствия. Каждый раз, когда у нас есть возможность, мы могли бы сделать наблюдение, которое уменьшило бы нашу вероятность, но нет, вероятность увеличивается. Поскольку мы могли видеть , что установило бы наши постеры для на ноль, тот факт, что мы этого не видели, означает, что мы должны увеличить наши постеры для $13$ $N=10,13,15$ $N=10$ $N=13,15$ $16$ $N=13,15$ $N=13,15$ . Но обратите внимание, что чем меньше число, тем больше чисел, которые мы могли бы увидеть, исключило бы это число. Для , то мы бы отвергли эту гипотезу после просмотра . Но для нам бы понадобилось как минимум чтобы отклонить гипотезу. Поскольку гипотеза является более фальсифицируемой, чем , тот факт, что мы не фальсифицировали является большим доказательством для , чем отсутствие фальсификации является доказательством для . $N=13$ $14,15,16,...$ $N=15$ $16$ $N=13$ $N=15$ $N=13$ $N=13$ $N=15$ $N=15$

Поэтому каждый раз, когда мы видим точку данных, она устанавливает заднюю часть всего, что ниже нее, на ноль и увеличивает заднюю часть всего остального, причем меньшие числа получают наибольшее усиление. Таким образом, число, которое получает общее наибольшее усиление, будет наименьшим числом, апостериорное значение которого не было установлено равным нулю, то есть максимальным значением наблюдений.

Числа, меньшие максимального, влияют на то, насколько большим будет усиление, которое получает максимум, но это не влияет на общую тенденцию максимального получения максимального усиления. Рассмотрим приведенный выше пример, где мы уже видели . Если следующий номер, который мы видим, равен , какой эффект это даст? Выручает больше, чем , но оба числа уже были отклонены, так что это не имеет значения. Это помогает больше, чем , но уже помогло больше, чем , так что это не влияет на то, какое число помогло больше всего. $13$ $5$ $5$ $6$ $13$ $15$ $13$ $15$

Acccumulation
источник

Этот пример во многом зависит от ситуации, и утверждения не являются общими. Например, если предварительное значение составляет 50% для 13 и 50% для 15, то наблюдение 13 не таково, что «наши предшественники для N = 13, 15 будут больше, чем их предыдущие». Наблюдения могут уменьшать апостериорные относительно предшествующего ,

Секст Эмпирик

Также, наблюдение за дополнительными числами может изменить вывод. В случае «если следующее число, которое мы видим, это 5 ...», то апостериор все равно изменится, даже когда числа уже «выручены», дополнительные числа могут увеличить эту «помощь» (например, когда вы выбираете все числа 1,2, ... 12, 13, тогда это увеличит апостериор на 13 больше, чем когда вы только

Sextus