Признает ли байесовский факт, что существует одно фиксированное значение параметра?

40

В байесовском анализе данных параметры рассматриваются как случайные величины. Это связано с байесовской субъективной концептуализацией вероятности. Но признают ли байесовцы теоретически, что в «реальном мире» существует одно истинное фиксированное значение параметра?

Кажется, что очевидный ответ - «да», потому что тогда попытка оценить параметр была бы почти бессмысленной. Академическая цитата для этого ответа будет принята с благодарностью.

ATJ
источник
2
Дайте мне этот параметр, и я определю распределение для него. :-)
Энн ван Россум

Ответы:

43

ИМХО "да"! Вот одна из моих любимых цитат Гренландии (2006: 767):

Часто говорят (неправильно), что «параметры рассматриваются как фиксированные частотой, но как случайные байесовскими». Как для частых людей, так и для байесовских, значение параметра могло быть зафиксировано с самого начала или могло быть сгенерировано с помощью физически случайного механизма. В любом случае, оба предполагают, что он принял какое-то фиксированное значение, которое мы хотели бы знать. Байесовский использует формальные вероятностные модели, чтобы выразить личную неуверенность в этом значении. «Случайность» в этих моделях представляет личную неопределенность в отношении значения параметра; это не свойство параметра (хотя мы должны надеяться, что оно точно отражает свойства механизмов, которые произвели параметр).

Гренландия, С. (2006). Байесовские перспективы эпидемиологических исследований: I. Основы и основные методы. Международный журнал эпидемиологии , 35 (3), 765–774.

Бернд Вайс
источник
2
Будучи слегка противоположным, нельзя ли утверждать, что (положение, импульс) частицы является «параметром», который мы могли бы попытаться оценить? Кто-то может возразить, что нет «фиксированного» значения этого параметра, и мы должны искренне рассматривать его как распределение. Относительно неизвестных, в частности, распределений, а не фиксированных значений, кажется, что природа делает в определенных ситуациях. Я не думаю, что эти рассуждения очень привлекательны для байесовского алгоритма на практике, но я думаю, что для полного ответа на вопрос OP необходимо некоторое обсуждение природы случайности.
парень
3
Я не вижу, что является «неуместным» в рассмотрении распределения как цели вывода. Действительно, индексирование объектов с параметрами в любом случае необязательно, например, можно утверждать свою неопределенность, используя распределения по функциям напрямую (см. Нил и Уильямс о гауссовских процессах). И нет необходимости иметь какое-то конкретное представление о «случайности», чтобы представить неопределенность с помощью исчисления вероятностей. Вывод, основанный на выборке (теории), возможно , нуждается в такой теории, но, насколько я могу судить, байесианство не является (или, по крайней мере, не должно быть).
сопряженный
2
Я не согласен, что байесовский предполагает, что параметр имеет фиксированное значение, и только их личная неопределенность заставляет их определять параметр как распределение, а не как точку. Я попытался расширить это в своем ответе. Ваша личная / теоретическая неопределенность является частью распределения, но мне кажется, что ваша модель по существу усредняет по переменным, которые не включены в модель, и это создает распределение, даже если ваши личные априорные значения очень точны.
Уэйн
29

Байесовская концепция вероятности не обязательно субъективна (ср. Джейнс). Важным отличием здесь является то, что байесовский пытается определить свой уровень знаний о значении параметра, комбинируя предварительное распределение для его вероятного значения с вероятностью, которая обобщает информацию, содержащуюся в некоторых наблюдениях. Следовательно, как байесовец я ​​бы сказал, что я доволен идеей, что параметр имеет истинное значение, которое точно не известно, и цель апостериорного распределения состоит в том, чтобы обобщить то, что я знаю о его вероятных значениях, основанный на моих предыдущих предположениях и наблюдениях.

Теперь, когда я делаю модель, модель не реальность. Таким образом, в некоторых случаях рассматриваемый параметр существует в действительности (например, средний вес вомбата), а в некоторых вопросах его нет (например, истинное значение параметра регрессии - модель регрессии является лишь моделью результата физические законы, управляющие системой, которые на самом деле не могут быть полностью охвачены регрессионной моделью). Поэтому говорить, что в реальном мире существует одно истинное фиксированное значение параметра, не обязательно верно.

С другой стороны, я бы предположил, что большинство частых пользователей сказали бы, что есть одно истинное значение для статистики, но они также не знают, что это такое, но у них есть оценки для этого и доверительные интервалы на их оценках, которые (в некотором смысле ) количественно определяет их неопределенность относительно правдоподобия различных значений (но частое представление о вероятности не позволяет им выразить это как непосредственное выражение).

Дикран Сумчатый
источник
Я всегда думал, что «субъективные вероятности» называются субъективными, потому что они относятся к свойству субъекта, выполняющего вычисления (то есть к его знаниям), а не к свойству объективной реальности (например, распределение веса не совсем справедливой кости).
nikie
1
@nikie Есть принципы, такие как MaxEnt и группы преобразований для определения априорных значений. В этом случае вычисление дает один и тот же ответ независимо от того, кто или что выполняет вычисление (робот придет к такому же выводу). Статистика для часто встречающихся также не лишена субъективности, например, как установить для проверки гипотез, но было намерение убрать субъективность из статистики в смысле «личной вероятности / убеждения», а не «степени достоверности» (IIRC) , α
Дикран Marsupial
Я знаю, но они все еще субъективные вероятности, верно? Потому что они все еще описывают знания субъекта о каком-то параметре (который для часто встречающегося не будет случайной величиной вообще)
nikie
Там не обязательно предмет. Все наборы роботов или компьютеров могут выполнять одни и те же вычисления и прийти к одному и тому же выводу, будь то использование байесовского подхода, основанного на частоте или объективности. Это состояние знаний, независимо от субъекта , осуществляющего расчет, поэтому она является объективной , а не субъективной.
Дикран Marsupial
17

К вашему главному, в Байесовском анализе данных (3-е изд., 93), Гельман также пишет

С точки зрения байесовского анализа данных, мы часто можем интерпретировать классические точечные оценки как точные или приблизительные апостериорные сводки, основанные на некоторой неявной модели полной вероятности. Фактически, в пределе большого размера выборки мы можем использовать асимптотическую теорию для построения теоретического байесовского обоснования для классического вывода о максимальном правдоподобии.

Так что, возможно, не «байесовцы» должны «признать», что, по правде говоря, существуют единственные реальные значения параметров, но частые лица, которые должны обращаться к байесовской статистике, чтобы оправдать свои процедуры оценки! (Я говорю это с языком твердо в щеке.)

Pr(θ|y)

Но идея о том, что в природе или в социальных системах существуют отдельные параметры, является лишь упрощающим предположением. Там может быть какой-то витиеватый процесс, генерирующий наблюдаемые результаты, но обнаружить эту систему невероятно сложно; Предположим, что существует единственное фиксированное значение параметра, значительно упрощает задачу. Я думаю, что это сокращает суть вашего вопроса: байесовцы не должны были «допускать» к тому, чтобы сделать это упрощение, так же, как это должны делать частые пользователи.

Sycorax говорит восстановить Монику
источник
Не могли бы вы остановиться на том, почему вы отвергаете байесовский вывод, основанный на субъективной вероятности? Вводные тексты, которые я прочитал (Kruschke, Lynch), похоже, создают его таким образом. Это то, что это только частично субъективно (исходя из предыдущего)?
ATJ
@ATJ Надеюсь, это прояснит мою точку зрения. Есть и другие аргументы, которые можно выдвинуть, но реальным камнем преткновения для меня было неявное предположение, что байесовская статистика субъективна в отличие от других парадигм. Например, я бы поспорил с характеристикой в ​​цитате Бернда, потому что кажется «личным» отдавать предпочтение методу объективной оценки по сравнению с задним изменением.
Sycorax говорит восстановить Monica
@ATJ, вводные тексты рассказывают историю, чтобы мотивировать методы. Что-то вроде этой истории, возможно, изначально мотивировало методы. Но это не значит, что эта история имеет большое влияние на предположения, которые люди делают при применении этих методов на практике. (И эта история может быть чепухой: например, идея о том, что вероятности, связанные с статистикой, могут быть определены в терминах частот так, как иногда говорят вводные часто используемые тексты, не имеет смысла - статьи Алан Хайек из Google «15 аргументов» Это не значит, что статистика по частоте не работает; она есть.)
Mars
9

Считаете ли вы, что существует единый «истинно фиксированный параметр» для чего-то вроде вклада употребления молока в рост ребенка? Или для уменьшения размера опухоли в зависимости от количества химического вещества, которое вы вводите в организм пациента? Выберите любую модель, с которой вы знакомы, и спросите себя, действительно ли вы считаете, что существует одно истинное, универсальное, точное и фиксированное значение для каждого параметра, даже теоретически.

Не обращайте внимания на погрешность измерения, просто посмотрите на вашу модель, как если бы все измерения были абсолютно точными и бесконечно точными. Учитывая вашу модель, вы думаете, что каждый параметр реально имеет конкретное значение балла?

Тот факт, что у вас есть модель, означает, что вы упускаете некоторые детали. Ваша модель будет иметь некоторую неточность, потому что вы усредняете параметры / переменные, которые вы пропустили, чтобы создать модель - упрощенное представление реальности. (Точно так же, как вы не делаете карту планеты 1: 1, полную всех деталей, а карту 1: 10000000, или как-то еще упрощенное. Карта является моделью.)

Учитывая, что вы усредняете по пропущенным переменным, параметры для переменных, которые вы включаете в вашу модель, будут распределениями, а не точечными значениями.

Это только часть байесовской философии - я игнорирую теоретическую неопределенность, неопределенность измерения, априорные значения и т. Д. - но мне кажется, что идея о том, что ваши параметры имеют распределения, имеет интуитивный смысл, так же как и описательная статистика имеет распределение.

Wayne
источник
7

Но признают ли байесовцы теоретически, что в «реальном мире» существует одно истинное фиксированное значение параметра?

На мой взгляд, ответ - да. Существует неизвестное значение параметра, и предыдущее распределение описывает наши знания / неопределенность по этому поводу. В байесовском математическом моделировании рассматривается как реализация случайной величины, следующей за предшествующим распределением.θ 0θ0θ0

Стефан Лоран
источник
Что такое , то есть, что представляет этот индекс ? 0θ00
НБРО
2

Если мы пойдем и соединим байесианство с детерминированной вселенной (прежде чем вы скажете что-нибудь со словом «квант», приколите меня и вспомните, что это не физика. Обмен стеками), мы получим некоторые интересные результаты.

Делая наши предположения явными:

  1. У нас есть байесовский агент, который является частью детерминированной вселенной и наблюдает за ней.
  2. Агент имеет ограниченные вычислительные ресурсы.

Теперь детерминированная вселенная может быть той, где атомы представляют собой маленькие ньютоновы бильярдные шары. Это может быть совершенно не квант. Скажем так.

Агент теперь подбрасывает честную монету. Задумайтесь об этом на секунду, что представляет собой честная монета в детерминированной вселенной? Монета с вероятностью 50/50?

Но это детерминистично! Обладая достаточной вычислительной мощностью, вы можете точно рассчитать, как приземлится монета, просто имитируя модель монеты, которая подбрасывается таким же образом.

В детерминированной вселенной честная монета была бы диском из металла с однородной плотностью. Никакая сила не заставляет его проводить больше времени одной лицом вниз, чем другой (подумайте о том, как функционируют взвешенные кости).

Таким образом, агент подбрасывает справедливую монету. Тем не менее, агент не достаточно мощный. У него нет достаточно острых глаз, чтобы измерить, как монета вращается при подбрасывании, он видит только пятно.

И поэтому в нем говорится: «Эта монета принесет головы с вероятностью 50%». Недостаток информации ведет к вероятностям.

Мы можем посмотреть на фазовое пространство того, как брошена монета. Большая многомерная система координат с осями, относящимися к направлению броска, силе броска, вращению монеты, скорости и направлению ветра и так далее. Одна точка в этом пространстве соответствует единственному возможному флип-флипу.

Если мы попросим агента ранее покрасить в системе координат градиент серого, соответствующий назначению агентом вероятности появления головок для каждого данного броска, он будет наиболее окрашен в равномерный оттенок серого.

Если мы постепенно дадим ему более мощные внутренние компьютеры, с помощью которых можно будет вычислять вероятности появления головок, он сможет производить все более и более проницательные раскраски. Когда мы наконец дадим ему самый мощный внутренний компьютер, сделав его всеведущим, он фактически раскрасит странную шахматную доску.

Справедливые монеты не сделаны из вероятностей, они сделаны из металла. Вероятности существуют только в вычислительных структурах. Так говорит байесовский.

Карл Дамгаард Асмуссен
источник
-3

Есть неправильные априоры, например, Джеффрис, который имеет определенное отношение к информационной матрице Фишера. Тогда это не субъективно.

Аналитик
источник
2
Не могли бы вы пояснить, как предшествующий Джеффрис и его отношение к информационной матрице Фишера означает, что байесовский вывод не субъективен? Насколько я понимаю, главная причина использования априорной теории Джеффриса заключается в том, что она инвариантна к альтернативным параметризациям модели. Кроме того, в многомерном окружении, априор Джеффриса может стать очень информативным, а результаты противоречивы (Gelman, BDA 3, p. 53). Подрывает ли это его «объективность»?
Sycorax сообщает восстановить Monica
@ user777, так как он основан на параметрах плотности под рукой, это объективно. Предположим, я умножил вероятность на 1, имею ли я тогда субъективное значение для вероятности? Поскольку апостериорная вероятность связана с предыдущей вероятностью.
аналитик
И частые люди также должны ссылаться на Аксиому Истинной Модели, если они хотят использовать правдоподобие ... :)
Аналитик