Каковы некоторые практические возражения против использования байесовских статистических методов в любом контексте? Нет, я не имею в виду обычное придурок по поводу выбора предшествующего. Я буду рад, если это не получит ответов.
Вопрос сформулирован хорошо, но комментарии доходят до линии аргументации и угрожают перекинуться на ту сторону этой строки. Будьте осторожны ... это не место для таких дебатов. Создайте чат, если вы хотите это сделать.
whuber
Ответы:
41
Я собираюсь дать вам ответ. На самом деле четыре недостатка. Обратите внимание, что на самом деле ни одно из этих возражений не должно приводить к частому анализу, но есть недостатки против использования байесовской структуры:
Выбор предшествующий. Это обычный карп по какой-то причине, хотя в моем случае это не обычные «приоры субъективны!» но то, что придумывание априора хорошо обосновано и фактически представляет собой вашу лучшую попытку обобщить априор, во многих случаях является большой работой. Например, всю цель моей диссертации можно сформулировать как «оценка априорных показателей».
Это вычислительно интенсивно. Особенно для моделей, включающих много переменных. Для большого набора данных с множеством оцениваемых переменных вполне может быть чрезмерно интенсивный вычислительный процесс, особенно в определенных обстоятельствах, когда данные не могут быть легко выброшены в кластер или тому подобное. Некоторые способы решения этой проблемы, такие как расширенные данные, а не MCMC, теоретически сложны, по крайней мере для меня.
Апостериорные распределения несколько сложнее включить в метаанализ, если только не было предоставлено частичное параметрическое описание распределения.
В зависимости от того, для какого журнала предназначен анализ, либо использование байесовского метода в целом, либо выбор вами априорных оценок, дает вашей статье немного больше баллов, чтобы рецензент мог ее изучить. Некоторые из них являются обоснованными возражениями рецензента, но некоторые просто вытекают из природы Байеса и того, насколько знакомы люди в некоторых областях.
Ничто из этого не должно остановить вас. Действительно, ни одна из этих вещей не остановила меня, и, надеюсь, выполнение байесовского анализа поможет решить хотя бы номер 4.
# 1, в идеале, это должен быть анализ первой стадии. В искусстве горит обзор. В науке количественный освещенный обзор. Байесовцы не должны извиняться по этому поводу. Если частоты подходят к данным, как будто они Адам и Ева - хорошо. 1-ая глава моей докторской диссертации - метаанализ (хотя и частый). Так и должно быть. # 2 Закон Мура, я обнаружил, что краткое и основанное на XKCD обсуждение с местной группой высокопроизводительных вычислений может очень помочь. # 3 Мета-анализ сосет в любом случае. Я бы за обязательный скользящий мегаанализ, другими словами - предоставлю свои данные при публикации.
Росс
7
@rosser Несколько мыслей. # 1. Там действительно должен быть освещенный обзор, и да, это должен быть первый шаг. Но для правильного байесовского анализа, который контролирует правильное смешивание, необходим полный количественный анализ каждой переменной, которая будет включена в модель. Это не маленькая задача. # 2. В зависимости от закона Мура это плохая идея. Во-первых, недавние успехи были достигнуты в основном в многоядерных / графических системах. Для этого нужно программное обеспечение, написанное для него, и проблемы, возникающие при параллельной обработке. Единственная модель GLM, сделанная с MCMC, может не быть такой. Продолжение
Fomite
6
@rosser, и, возможно, времена с HPC не обязательно являются ответом. Например, я работаю в областях, где соглашения об использовании данных и тому подобное часто препятствуют хранению данных в вещах, помимо чрезвычайно защищенных систем. Локальный кластер ... не правда ли? И, в конце концов, закон Мура настолько хорош, насколько велик ваш аппаратный бюджет. Что касается # 3 и мета-анализа, я склонен не соглашаться, но помимо этого, это остается проблемой до тех пор, пока система с полностью открытыми данными не станет нормой.
Fomite
Хорошо, я переоценил # 3. Но насколько сильно ваш предшествующий КАЖДЫЙ ПРЕДИКТОР влияет на результат? srsly? Анализ чувствительности показывает огромные различия?
Россер
1
@Rosser Вероятно, это зависит от характера вашего предиктора и его связи с воздействием и результатом. Но для проведения анализа чувствительности кто-то должен иметь априор для всех этих переменных. Возможно, я добавлю это в качестве дополнительной части моей диссертации. Я также считаю, что объединение силы Байеса, но принятие неинформативных априорных значений для переменных, где «я не могу потрудиться выяснить», несколько проблематично.
Fomite
16
Я байесовец по склонности, но в целом часто на практике. Причиной этого обычно является то, что выполнение полного байесовского анализа должным образом (а не, например, решения MAP) для типов проблем, которые меня интересуют, является сложным и вычислительно интенсивным. Часто требуется полный байесовский анализ, чтобы действительно увидеть преимущество этого подхода по сравнению с частыми эквивалентами.
Для меня компромисс - это в основном выбор между байесовскими методами, которые являются концептуально элегантными и простыми для понимания, но трудными для реализации на практике, и частыми методами, которые концептуально неуклюжи и тонки (попробуйте объяснить, как правильно интерпретировать тест гипотезы почему нет 95% вероятности того, что истинное значение лежит в 95% доверительном интервале), но они хорошо подходят для легко реализуемых решений «поваренной книги».
С чисто практической точки зрения, я не фанат методов, которые требуют большого количества вычислений (я имею в виду сэмплер Гиббса и MCMC, часто используемые в байесовской структуре, но это также относится, например, к методам начальной загрузки в аналитике частоты). Причина в том, что любой вид отладки (тестирование реализации, проверка надежности относительно предположений и т. Д. ) Сам по себе требует кучу симуляций Монте-Карло, и вы быстро попадаете в вычислительную сложность. Я предпочитаю, чтобы основные методы анализа были быстрыми и детерминированными, даже если они только приблизительны.
Конечно, это чисто практическое возражение: учитывая бесконечные вычислительные ресурсы, это возражение исчезнет. И это относится только к подмножеству байесовских методов. Кроме того, это больше предпочтений, учитывая мой рабочий процесс.
Пока что я слышу 1. Закон Мура, 2. Тяжелая работа +/- терпение и 3. Невежество. Должен сказать, что ничего из этого не является убедительным. Байес кажется такой всеобъемлющей парадигмой. Например ... почему исследования GWAS не были проанализированы а-ля Байес. Могли ли они предотвратить выброс 99,999% данных?
Росс
1
И наоборот: MCMC может научить писать более быстрый код и учиться от боли ожидания завершения моделирования. Это был мой опыт в моделировании: если выполнение занимает много времени, я могу извлечь пользу из изучения того, как сделать код быстрее.
Итератор
9
Иногда существует простое и естественное «классическое» решение проблемы, и в этом случае причудливый байесовский метод (особенно с MCMC) будет излишним.
Кроме того, в задачах с типом выбора переменной может быть более простым и понятным рассмотреть что-то вроде штрафной вероятности; может существовать априор для моделей, который дает эквивалентный байесовский подход, но то, как априор соответствует конечной производительности, может быть менее ясным, чем взаимосвязь между штрафом и производительностью.
Наконец, методы MCMC часто требуют эксперта как для оценки сходимости / смешивания, так и для понимания результатов.
Я относительно новичок в байесовских методах, но одна вещь, которая меня раздражает, заключается в том, что, хотя я понимаю обоснование приоритетов (то есть наука - совокупное стремление, поэтому для большинства вопросов есть некоторый предыдущий опыт / мышление, которое должно проинформировать вас интерпретация данных), мне не нравится, что байесовский подход заставляет вас подтолкнуть субъективность к началу анализа, что делает конечный результат условным. Я полагаю, что это проблематично по двум причинам: 1) некоторые менее опытные читатели даже не обращают внимания на приоры и интерпретируют байесовские результаты как непредвиденные; 2) если исходные данные не доступны, читателям трудно переосмыслить результаты в своих собственных субъективных приоритетах. Вот почему я предпочитаю отношения правдоподобия,
(Проницательные критики заметят, что даже отношение правдоподобия является «условным» в том смысле, что оно зависит от параметризации сравниваемых моделей; однако это свойство характерно для всех методов, Frequentist, Bayesian и Likelihoodist)
Обратная проблема с частыми статистиками в том, что субъективность есть, но она вообще не упоминается. (Практическая) проблема с отношениями правдоподобия состоит в том, что они основаны на оптимизации правдоподобия и, следовательно, игнорируют тот факт, что могут быть другие решения с вероятностью, лишь немного меньшей. Вот где Байесовский фактор полезен. Но это всегда "лошади для курсов".
Дикран Сумчатый
6
Теория принятия решений является основной теорией, на которой работает статистика. Проблема состоит в том, чтобы найти хорошую (в некотором смысле) процедуру для принятия решений на основе данных. Однако редко существует однозначный выбор процедуры в смысле минимизации ожидаемых потерь, поэтому для выбора из них необходимо использовать другие критерии. Выбор процедур Байеса в отношении некоторых предыдущих является одним из этих критериев, но это не всегда может быть то, что вы хотите. Минимакс может быть более важным в некоторых случаях или непредвзятости.
Любой, кто настаивает на том, что частые люди ошибаются, или байесовский или неправильный, в основном показывает свое незнание статистики.
В течение некоторого времени я хотел больше узнать о байесовских подходах к моделированию, чтобы обойти свое поверхностное понимание (я кодировал сэмплеры Гиббса в аспирантуре, но никогда не делал ничего реального). По пути, хотя я думал, что некоторые из работ Брайана Денниса были провоцирующими, я хотел найти байесовского друга (тех, кто не был в шкафу), чтобы читать газеты и выслушивать их контрапункты. Итак, вот документы, на которые я ссылаюсь, но цитата, которую я всегда помню,
Быть байесовским значит никогда не говорить, что ты не прав.
Первая статья (не читал вторую), кажется, больше о том, как Байес практикуется по сравнению с теорией. На практике модели проверяются не так строго, как следовало бы, но в теории байесовская статистика имеет превосходные средства проверки моделей, называемые «доказательством» Джейнса, что воплощено в знаменателе P (D | модель) правила Байеса. С его помощью вы можете сравнить уместность моделей, что вы можете сделать только эмпирически в статистике. Проблема, конечно, заключается в том, что доказательства трудно вычислить, поэтому большинство людей игнорируют их и считают, что последним является наиболее важный фактор (продолжение)
цеспиноза
2
пт. 2 Попробуйте прибегнуть к «умению использовать вложенную выборку», и вы найдете статью о методе MCMC для вычисления доказательств. (Существуют и другие методы проверки моделей, не основанные на доказательствах: Гельман проверяет свои модели путем выборки из апостериорного прогнозирования и сравнения (визуально или иным образом) с фактическими данными.) Некоторые люди даже предполагают, что модели следует усреднять, просматривая пространство моделей само маргинализируется. Еще одна вещь, которую мы можем видеть на горизонте, - это непараметрические байесы, которые решают проблему, позволяя гораздо более широкий диапазон моделей, чем традиционные параметрические модели.
Cespinoza
5
Кроме того, я предлагаю вам посмотреть videolectures.net/mlss09uk_jordan_bfway Майкла И. Джордана, профессора из Беркли, который достаточно уравновешен в своих взглядах на предполагаемый Байес против Фрека. «война». Я не могу комментировать вторую половину первой статьи, потому что я не знаю ни одной экологической ссылки. Я прочитаю второй позже.
Cespinoza
1
@cespinoza: Я думал об этом по дороге на работу. В документе говорится, что байесовский анализ никогда не будет рассматривать остатки (то есть сравнивать выходные данные модели с фактическими данными), и, возможно, резкий байесовский алгоритм мог бы отказаться от этого в принципе, но практики, такие как Гельман, безусловно, сравнивают выходные данные модели (прогнозные апостериорные) с фактическими данными. Я не знаю достаточно, чтобы пойти дальше, но у меня сложилось впечатление, что газеты «принципиально» настроили соломенных людей для нападения.
Уэйн
2
Просто добавьте, что байесовец, который не проверяет остатки, является плохим статистиком. Обычно байесовский метод используется с «грубой и готовой» моделью и ранее. Проверка остатков - это один из способов проверить, достаточно ли у вас знаний по предыдущему и модели. Он идет рука об руку с проверкой того, какие теоретические особенности у вашей модели и предшествующие
вероятностная
5
Каковы открытые проблемы в байесовской статистике из ежеквартального информационного бюллетеня ISBA, перечисляющего 5 проблем с байесовской статистикой от различных лидеров в этой области, причем № 1, как ни странно, «Выбор модели и проверка гипотез».
Ответы:
Я собираюсь дать вам ответ. На самом деле четыре недостатка. Обратите внимание, что на самом деле ни одно из этих возражений не должно приводить к частому анализу, но есть недостатки против использования байесовской структуры:
Ничто из этого не должно остановить вас. Действительно, ни одна из этих вещей не остановила меня, и, надеюсь, выполнение байесовского анализа поможет решить хотя бы номер 4.
источник
Я байесовец по склонности, но в целом часто на практике. Причиной этого обычно является то, что выполнение полного байесовского анализа должным образом (а не, например, решения MAP) для типов проблем, которые меня интересуют, является сложным и вычислительно интенсивным. Часто требуется полный байесовский анализ, чтобы действительно увидеть преимущество этого подхода по сравнению с частыми эквивалентами.
Для меня компромисс - это в основном выбор между байесовскими методами, которые являются концептуально элегантными и простыми для понимания, но трудными для реализации на практике, и частыми методами, которые концептуально неуклюжи и тонки (попробуйте объяснить, как правильно интерпретировать тест гипотезы почему нет 95% вероятности того, что истинное значение лежит в 95% доверительном интервале), но они хорошо подходят для легко реализуемых решений «поваренной книги».
Лошади на курсы.
источник
С чисто практической точки зрения, я не фанат методов, которые требуют большого количества вычислений (я имею в виду сэмплер Гиббса и MCMC, часто используемые в байесовской структуре, но это также относится, например, к методам начальной загрузки в аналитике частоты). Причина в том, что любой вид отладки (тестирование реализации, проверка надежности относительно предположений и т. Д. ) Сам по себе требует кучу симуляций Монте-Карло, и вы быстро попадаете в вычислительную сложность. Я предпочитаю, чтобы основные методы анализа были быстрыми и детерминированными, даже если они только приблизительны.
Конечно, это чисто практическое возражение: учитывая бесконечные вычислительные ресурсы, это возражение исчезнет. И это относится только к подмножеству байесовских методов. Кроме того, это больше предпочтений, учитывая мой рабочий процесс.
источник
Иногда существует простое и естественное «классическое» решение проблемы, и в этом случае причудливый байесовский метод (особенно с MCMC) будет излишним.
Кроме того, в задачах с типом выбора переменной может быть более простым и понятным рассмотреть что-то вроде штрафной вероятности; может существовать априор для моделей, который дает эквивалентный байесовский подход, но то, как априор соответствует конечной производительности, может быть менее ясным, чем взаимосвязь между штрафом и производительностью.
Наконец, методы MCMC часто требуют эксперта как для оценки сходимости / смешивания, так и для понимания результатов.
источник
Я относительно новичок в байесовских методах, но одна вещь, которая меня раздражает, заключается в том, что, хотя я понимаю обоснование приоритетов (то есть наука - совокупное стремление, поэтому для большинства вопросов есть некоторый предыдущий опыт / мышление, которое должно проинформировать вас интерпретация данных), мне не нравится, что байесовский подход заставляет вас подтолкнуть субъективность к началу анализа, что делает конечный результат условным. Я полагаю, что это проблематично по двум причинам: 1) некоторые менее опытные читатели даже не обращают внимания на приоры и интерпретируют байесовские результаты как непредвиденные; 2) если исходные данные не доступны, читателям трудно переосмыслить результаты в своих собственных субъективных приоритетах. Вот почему я предпочитаю отношения правдоподобия,
(Проницательные критики заметят, что даже отношение правдоподобия является «условным» в том смысле, что оно зависит от параметризации сравниваемых моделей; однако это свойство характерно для всех методов, Frequentist, Bayesian и Likelihoodist)
источник
Теория принятия решений является основной теорией, на которой работает статистика. Проблема состоит в том, чтобы найти хорошую (в некотором смысле) процедуру для принятия решений на основе данных. Однако редко существует однозначный выбор процедуры в смысле минимизации ожидаемых потерь, поэтому для выбора из них необходимо использовать другие критерии. Выбор процедур Байеса в отношении некоторых предыдущих является одним из этих критериев, но это не всегда может быть то, что вы хотите. Минимакс может быть более важным в некоторых случаях или непредвзятости.
Любой, кто настаивает на том, что частые люди ошибаются, или байесовский или неправильный, в основном показывает свое незнание статистики.
источник
В течение некоторого времени я хотел больше узнать о байесовских подходах к моделированию, чтобы обойти свое поверхностное понимание (я кодировал сэмплеры Гиббса в аспирантуре, но никогда не делал ничего реального). По пути, хотя я думал, что некоторые из работ Брайана Денниса были провоцирующими, я хотел найти байесовского друга (тех, кто не был в шкафу), чтобы читать газеты и выслушивать их контрапункты. Итак, вот документы, на которые я ссылаюсь, но цитата, которую я всегда помню,
http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf
источник
Каковы открытые проблемы в байесовской статистике из ежеквартального информационного бюллетеня ISBA, перечисляющего 5 проблем с байесовской статистикой от различных лидеров в этой области, причем № 1, как ни странно, «Выбор модели и проверка гипотез».
источник