Имеют ли значения ошибки на вероятностях какое-либо значение?

Люди часто говорят, что какое-то событие имеет шанс 50-60%. Иногда я даже вижу, как люди дают явные полосы ошибок при назначении вероятностей. Имеют ли эти утверждения какое-либо значение или они представляют собой просто лингвистическую причину дискомфорта, выбирая конкретное число для чего-то, что по своей природе непостижимо?

Не имеет смысла, если вы говорите об известных вероятностях, например, при честной монете вероятность метания головы равна 0,5 по определению. Однако, если вы не говорите о примере из учебника, точная вероятность никогда не известна, мы знаем ее только приблизительно.

Другая история - когда вы оцениваете вероятности по данным, например, вы наблюдали 13 выигрышных билетов среди 12563 купленных вами билетов, поэтому по этим данным вы оцениваете вероятность 13/12563. Это то, что вы оценили по выборке, так что это неопределенно, потому что с другой выборкой вы можете наблюдать разные значения. Оценка неопределенности связана не с вероятностью, а с оценкой ее.

Другим примером может быть случай, когда вероятность не фиксирована, а зависит от других факторов. Скажем, что речь идет о вероятности гибели в автомобильной аварии. Мы можем рассмотреть «глобальную» вероятность, единое значение, которое маргинализируется по всем факторам, которые прямо и косвенно приводят к автомобильным авариям. С другой стороны, вы можете рассмотреть, как вероятности варьируются среди населения с учетом факторов риска.

Вы можете найти еще много примеров, когда сами вероятности рассматриваются как случайные переменные , поэтому они изменяются, а не фиксируются.

Наиболее актуальная иллюстрация из xkcd :

с соответствующей подписью:

... величина эффекта 1.68 (95% ДИ: 1.56 (95% ДИ: 1.52 (95% ДИ: 1.504) (95% ДИ: 1.494 (95% ДИ: 1.488 (95% ДИ: 1.485 (95% ДИ: 1.482) (95% доверительный интервал: 1,481 (95% доверительный интервал: 1,4799) (95% доверительный интервал: 1,4791 (95% доверительный интервал: 1,4784 ...

Я знаю две интерпретации. Первое было сказано Тимом: мы наблюдали $X$ успехов из $Y$ испытаний, поэтому, если мы считаем, что испытания были проведены, мы можем оценить вероятность процесса в $X/Y$ с некоторыми барами ошибок, например, порядка $1/\sqrt{Y}$ .

Второй включает в себя «вероятности высшего порядка» или неопределенности относительно процесса генерации. Например, скажем, у меня в руке есть монета, изготовленная игроком-ремесленником, который с вероятностью $0.5$ сделал монету в 60% голов, а с вероятностью $0.5$ - монету в 40%. Мое лучшее предположение - 50% -ная вероятность того, что монета выпадет в голову, но с большими барами ошибок: «истинный» шанс - 40% или 60%.

Другими словами, вы можете представить, что проводите эксперимент миллиард раз и берете долю успехов $X/Y$ (фактически ограничивающую долю). Имеет смысл, по крайней мере, с байесовской точки зрения, дать, например, 95% доверительный интервал вокруг этого числа. В приведенном выше примере, учитывая текущие знания, это $[0.4,0.6]$ . Для настоящей монеты это может быть $[0.47,0.53]$ или что-то в этом роде. Для получения дополнительной информации см .:

Нужны ли нам вероятности высшего порядка и, если да, что они означают? Иудея Перл. UAI 1987. https://arxiv.org/abs/1304.2716

Все измерения являются неопределенными.

Поэтому любое измерение вероятности также является неопределенным.

Эта неопределенность при измерении вероятности может быть визуально представлена ​​с помощью индикатора неопределенности. Обратите внимание, что столбцы неопределенности часто называют столбцами ошибок. Это неверно или, по крайней мере, вводит в заблуждение, потому что показывает неопределенность, а не ошибку (ошибка - это разница между измерением и неизвестной истинностью, поэтому ошибка неизвестна; неопределенность является мерой ширины плотности вероятности после взятия измерение).

Смежная тема - мета-неопределенность . Неопределенность описывает ширину апостериорной функции распределения вероятностей, и в случае неопределенности типа А (неопределенность, оцениваемая путем повторных измерений) неизбежно возникает неопределенность относительно неопределенности; метрологи сказали мне, что метрологическая практика требует расширения неопределенности в этом случае (IIRC, если неопределенность оценивается стандартным отклонением N повторных измерений, следует умножить полученное стандартное отклонение на $\frac{N}{N-2}$ ), что по сути является мета-неопределенностью.

Как может появиться ошибка на вероятности? Предположим, что мы можем присвоить $\mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I})$ . Если $\mathcal{I}$ означает $\Theta = \theta_0$ , то $\mathrm{prob}(\Theta = \theta | \mathcal{I}) = \delta_{\theta \theta_0}$ и

$$\begin{align} \mathrm{prob}(\mathcal{A} | \mathcal{I}) &= \sum_\theta \mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I}) \: \delta_{\theta \theta_0} \\ &= \mathrm{prob}(\mathcal{A} | \Theta = \theta_0, \mathcal{I}) \end{align}$$

Теперь, если $\Theta$ не может быть выведено из $\mathcal{I}$ , то возникает соблазн думать, что неопределенность в $\mathrm{prob}(\Theta = \theta | \mathcal{I})$ должна приводить к неопределенности в $\mathrm{prob}(\mathcal{A} | \mathcal{I})$ . Но это не так. Это просто подразумевает совместную вероятность для $\mathcal{A}$ и $\Theta = \theta$ , которая, когда $\Theta$ маргинализируется, дает определенную вероятность для $\mathcal{A}$ :

$$\begin{align} \mathrm{prob}(\mathcal{A}, \Theta = \theta | \mathcal{I}) &= \mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I}) \: \mathrm{prob}(\Theta = \theta | \mathcal{I}) \\ \mathrm{prob}(\mathcal{A} | \mathcal{I}) &= \sum_\theta \mathrm{prob}(\mathcal{A} | \Theta = \theta, \mathcal{I}) \: \mathrm{prob}(\Theta = \theta | \mathcal{I}) \end{align}$$

Таким образом, добавление погрешностей к вероятности сродни добавлению неопределенности к параметрам помех, которые могут изменить вероятность, но не могут сделать ее неопределенной.

Есть очень часто случаи, когда вы хотите иметь вероятность вероятности. Например, вы работали в области безопасности пищевых продуктов и использовали модель анализа выживаемости, чтобы оценить вероятность того, что споры ботулина прорастут (и, следовательно, произведут смертельный токсин) в зависимости от этапов приготовления пищи (то есть приготовления) и времени / температуры инкубации (ср. бумага). Производители продуктов питания могут затем захотеть использовать эту модель, чтобы установить безопасные сроки использования, чтобы потребительский риск ботулизма был соответственно небольшим. Однако модель подходит для конечной обучающей выборки, поэтому вместо выбора даты использования, для которой вероятность прорастания меньше, скажем, 0,001, вы можете выбрать более раннюю дату, для которой (с учетом предположений моделирования) Вы можете быть на 95% уверены, что вероятность прорастания составляет менее 0,001. Это кажется вполне естественным делом в байесовской обстановке.

tl; dr - Любая одноразовая догадка от конкретного гадателя может быть сведена к одной вероятности. Однако это всего лишь тривиальный случай; структуры вероятности могут иметь смысл, когда есть некоторая контекстуальная релевантность вне единственной вероятности.

---

Шанс случайной посадки монеты на головы составляет 50%.

Неважно, честная это монета или нет; по крайней мере, не для меня. Потому что, хотя у монеты может быть предвзятость, которую может использовать осведомленный наблюдатель, чтобы делать более обоснованные прогнозы, мне придется угадывать 50% шансов.

Моя таблица вероятностей:

$$\begin{array}{c|c} \textbf{Heads} & \textbf{Tails} \\ \hline 50 \% & 50 \% \end{array}_{.}$$ But what if I tell someone that the coin has 50% odds, and then they have to make a decision about what happens on two coin flips? Lacking further information, they'd have to default to guessing that coin flips are independent events, arriving at: $${\newcommand{\rotate}[2]{{\style{transform-origin: center middle; display: inline-block; transform: rotate(#1deg); padding: 25px}{\rlap{#2}}}}} \hspace{-165px} \begin{array}{rc} & \qquad \qquad \small{\text{First flip}} \\ \rotate{-90}{\hspace{-25px}\small{\begin{array}{c}\text{Second} \\ \text{flip} \end{array}}} & \begin{array}{r|c|c} & \textbf{Heads} & \textbf{Tails} \\ \hline \textbf{Heads} & 25 \% & 25 \% \\ \hline \textbf{Tails} & 25 \% & 25 \% \end{array}_{,} \end{array}$$ from which they might conclude $$\begin{array}{c|c} \begin{array}{c}\textbf{Same side} \\[-5px] \textbf{twice}\end{array} & \begin{array}{c}\textbf{Heads} \\[-5px] \textbf{and Tails} \end{array} \\ \hline 50 \% & 50 \% \end{array}_{.}$$ However, the coin flips aren't independent events; they're connected by a common causal agent, describable as the coin's bias.

If we assume a model in which a coin has a constant probability of Heads, $P_{\small{\text{Heads}}} ,$ then it might be more precise to say

$$\begin{array}{c|c} \textbf{Heads} & \textbf{Tails} \\ \hline P_{\small{\text{Heads}}} & 1 - P_{\small{\text{Heads}}} \end{array}_{.}$$ From this, someone might think $${\newcommand{\rotate}[2]{{\style{transform-origin: center middle; display: inline-block; transform: rotate(#1deg); padding: 25px}{\rlap{#2}}}}} \hspace{-165px} \begin{array}{rc} & \qquad \qquad \small{\text{First flip}} \\ \rotate{-90}{\hspace{-25px}\small{\begin{array}{c}\text{Second} \\ \text{flip} \end{array}}} & \begin{array}{r|c|c} & \textbf{Heads} & \textbf{Tails} \\ \hline \textbf{Heads} & P_{\small{\text{Heads}}}^{2} & P_{\small{\text{Heads}}} \left(1-P_{\small{\text{Heads}}}\right) \\ \hline \textbf{Tails} & P_{\small{\text{Heads}}} \left(1-P_{\small{\text{Heads}}}\right) & {\left(1-P_{\small{\text{Heads}}}\right)}^{2} \end{array}_{,} \end{array}$$ from which they might conclude $$\begin{array}{c|c} \begin{array}{c}\textbf{Same side} \\[-5px] \textbf{twice}\end{array} & \begin{array}{c}\textbf{Heads} \\[-5px] \textbf{and Tails} \end{array} \\ \hline 1 - 2 P_{\small{\text{Heads}}} \left(1 - P_{\small{\text{Heads}}} \right) & 2 P_{\small{\text{Heads}}} \left(1 - P_{\small{\text{Heads}}} \right) \end{array}_{.}$$ If I had to guess $P_{\small{\text{Heads}}} ,$ then I'd still go with $50 \% ,$ so it'd seem like this would reduce to the prior tables.

So it's the same thing, right?

Turns out that the odds of getting two-Heads-or-Tails is always greater than getting one-of-each, except in the special case of a perfectly fair coin. So if you do reduce the table, assuming that the probability itself captures the uncertainty, your predictions would be absurd when extended.

That said, there's no "true" coin flip. We could have all sorts of different flipping methodologies that could yield very different results and apparent biases. So, the idea that there's a consistent value of $P_{\small{\text{Heads}}}$ would also tend to lead to errors when we construct arguments based on that premise.

So if someone asks me the odds of a coin flip, I wouldn't say $`` 50 \% " ,$ despite it being my best guess. Instead, I'd probably say $`` \text{probably about}~50\% " .$

And what I'd be trying to say is roughly:

If I had to make a one-off guess, I'd probably go with about $50 \% .$ However, there's further context that you should probably ask me to clarify if it's important.

---

People often say some event has a 50-60% chance of happening.

If you sat down with them and worked out all of their data, models, etc., you might be able to generate a better number, or, ideally, a better model that'd more robustly capture their predictive ability.

But if you split the difference and just call it 55%, that'd be like assuming $P_{\small{\text{Heads}}} = 50 \%$ in that you'd basically be running with a quick estimate after having truncated the higher-order aspects of it. Not necessarily a bad tactic for a one-off quick estimate, but it does lose something.

Я бы сказал, что имеют значение только строки ошибок, но в данном примере все это, вероятно, почти бессмысленно.
Пример поддается интерпретации как доверительный интервал, в котором верхняя и нижняя границы некоторой степени определенности являются диапазоном вероятности. Этот предложенный ответ будет иметь дело с этой интерпретацией. Источник большинства - https://www.amazon.com/How-Measure-Anything-Intangibles-Business-ebook/dp/B00INUYS2U

---

В примере говорится, что при заданном уровне достоверности ответ вряд ли будет выше 60% и в равной степени вряд ли будет ниже 50%. Это настолько удобный набор чисел, что он напоминает «биннинг», в котором своп 55% дополнительно колеблется до диапазона +/- 5%. Знакомые круглые цифры сразу заподозрить.
Один из способов достижения доверительного интервала состоит в том, чтобы принять решение о выбранном уровне доверия - скажем, 90% - и мы допускаем, что это может быть либо ниже, либо выше, чем наша оценка, но существует только 10% шанс «правильный» ответ лежит за пределами нашего интервала. Таким образом, мы оцениваем более высокую оценку так, что «существует только 1/20 вероятности того, что правильный ответ будет больше этой верхней границы», и делаем аналогичное для нижней границы. Это может быть сделано с помощью «калиброванной оценки», которая является одной из форм измерения или другими формами измерения.
Независимо от этого, дело в том, чтобы: а) с самого начала признать, что с нашей неопределенностью связана неопределенность, и б) не разбрасываться руками, не называть это беспорядком и просто ставить на 5% выше и ниже. Преимущество состоит в том, что подход, строгий в выбранной степени, может дать результаты, которые все еще математически значимы, до степени, которая может быть сформулирована математически: «Существует 90% вероятности, что правильный ответ лежит между этими двумя границами ...» является правильно сформированным доверительным интервалом (CI), и его можно использовать в дальнейших расчетах.
Более того, придав ему достоверность, мы можем откалибровать метод, использованный для получения оценки, сравнивая прогнозы с результатами и действуя в соответствии с тем, что мы находим, чтобы улучшить метод оценки. Ничего нельзя сделать идеальным, но многие вещи можно сделать эффективными на 90%.
Обратите внимание, что 90% CI не имеет ничего общего с тем, что пример, приведенный в OP, содержит 10% поля и пропускает 90%.
Какой размах крыльев у Боинга 747-100, до 90% ДИ? Ну, я на 95% уверен, что это не более 300 футов, и я в равной степени уверен, что это не меньше, чем 200 футов. Так что, в довершение всего, я дам вам 90% CI 200 -235 футов.
Обратите внимание, что нет «центральной» оценки. КИ не формируются догадками и факторами выдумки. Вот почему я говорю, что столбцы ошибок, вероятно, имеют большее значение, чем данная оценка.

---

Тем не менее, интервальная оценка (все выше) не обязательно лучше, чем точечная оценка с правильно рассчитанной ошибкой (что мне не известно в данный момент - я только помню, что она часто делается неправильно). Я просто говорю, что многие оценки, выраженные в виде диапазонов - и я рискну, что большинство диапазонов с круглыми числами - это точки + выдумка, а не оценки интервалов или точек + ошибок.

---

Одно правильное использование точки + ошибка:

«Машина наполняет чашки жидкостью и должна быть отрегулирована таким образом, чтобы содержимое чашек составляло 250 г жидкости. Поскольку машина не может заполнить каждую чашку ровно 250,0 г, содержимое, добавленное в отдельные чашки, имеет некоторые различия, и считается случайной величиной X. Предполагается, что это отклонение обычно распределено вокруг желаемого среднего значения 250 г со стандартным отклонением σ 2,5 г. Чтобы определить, правильно ли откалибрована машина, образец n = 25 чашки с жидкостью выбираются случайным образом, и чашки взвешиваются. Полученные измеренные массы жидкости составляют X1, ..., X25, случайный образец из X ".

Ключевой момент: в этом примере среднее значение и ошибка указываются / предполагаются, а не оцениваются / измеряются.