Бутстрап против Монте-Карло, оценка ошибок

12

Я читаю статью « Распространение ошибок методом Монте-Карло в геохимических расчетах», Anderson (1976), и есть кое-что, что я не совсем понимаю.

Рассмотрим некоторые измеренные данные и программу, которая обрабатывает их и возвращает заданное значение. В статье эта программа используется, чтобы сначала получить лучшее значение, используя средства данных (то есть: ). $\{A\pm\sigma_A, B\pm\sigma_B, C\pm\sigma_C\}$ $\{A, B, C\}$

Затем автор использует метод Монте-Карло для присвоения неопределенности этому наилучшему значению, изменяя входные параметры в пределах их пределов неопределенности (заданных гауссовым распределением со средними значениями и стандартными отклонениями ) перед передачей их в программу. Это показано на рисунке ниже: $\{A, B, C\}$ $\{\sigma_A, \sigma_B, \sigma_C\}$

( Авторское право: ScienceDirect )

где неопределенность может быть получена из окончательного распределения. $Z$

Что бы произошло, если бы вместо этого метода Монте-Карло я применил метод начальной загрузки? Что-то вроде этого:

Это так: вместо того, чтобы изменять данные в пределах их неопределенностей перед подачей их в программу, я выбираю их с заменой.

Каковы различия между этими двумя методами в этом случае? Какие предостережения я должен знать перед применением любого из них?

Я знаю об этом вопросе Bootstrap, Монте-Карло , но это не совсем решает мои сомнения, так как в этом случае данные содержат назначенные неопределенности.

bootstrap monte-carlo error Габриель
источник

Просто чтобы уточнить: «случайное изменение» в методе MC случайно генерируется исследователем? То есть шум / ошибки искусственно добавляются к входным данным?

теневик

Он «генерируется случайным образом», основываясь на неопределенности измеренных данных (т.е. s) и предполагая определенное распределение этих ошибок (обычно гауссовское). Так что нет, ошибки не добавляются искусственно. Входные данные имеют связанную ошибку, заданную процессом измерения.

σ

$\sigma$

Габриэль

Я не думаю, что понимаю. Это искусственный шум, но со стандартным отклонением, оцененным по данным

shadowtalker

Тогда я, вероятно, не понимаю, что такое «искусственный шум» (и что будет означать «не искусственный шум»). Вы видели статью? Это, безусловно, объясняет вещи намного лучше, чем я.

Габриэль

Естественный шум: случайные изменения в моих данных. Искусственный шум: использование генератора случайных чисел для рисования чисел из распределения вероятностей и добавление этих чисел к моим данным

shadowtalker

7

Насколько я понимаю ваш вопрос, разница между подходом «Монте-Карло» и подходом начальной загрузки, по сути, является различием между параметрической и непараметрической статистикой.

В параметрической структуре точно известно, как генерируются данные , то есть, учитывая параметры модели ( , и т. Д. В вашем описании), вы можете создавать новые реализации таких наборов данных и из них новые реализации вашей статистической процедуры (или «вывода»). Таким образом, можно полностью и точно описать распределение вероятностей на выходе либо математическими выводами, либо экспериментом Монте-Карло, возвращающим выборку произвольного размера из этого распределения. $x_1,\ldots,x_N$ $A$ $\sigma_A$ $Z$

В непараметрических рамках, один не желают , чтобы сделать такие предположения относительно данных и , таким образом , использует данные и данные только для оценки ее распределения, . Бутстрап - это такой подход, при котором неизвестное распределение оценивается по эмпирическому распределению полученному путем установки вероятностного веса в каждой точке выборки (в простейшем случае, когда данные являются iid). Используя это эмпирическое распределение в качестве замены для истинного распределения , можно получить с помощью Монте - Карло оцененного распределения выходного . $F$ $\hat F$ $1/n$ $\hat F$ $F$ $Z$

Таким образом, основное различие между обоими подходами состоит в том, делает ли одно это параметрическое предположение о распределении данных.

Сиань
источник

2

Почти два года спустя я знаю, что это лучший ответ, потому что он явно упоминает разницу между параметрическим и непараметрическим подходами (чего я тогда не знал). Таким образом, я меняю принятый ответ на этот ,

Габриэль

но для параметрического подхода можно также использовать параметрическую загрузку правильно?

Том Венселерс

12

Случайное изменение в вашей модели Монте-Карло представлено кривой колокола, и вычисление, вероятно, предполагает нормально распределенную «ошибку» или «изменение». По крайней мере, ваш компьютер нуждается в некотором предположении о распределении, из которого можно извлечь «изменения». Самозагрузка не обязательно делает такие предположения. Он принимает наблюдения в качестве наблюдений, и если их ошибка асимметрично распределена, то таким образом он попадает в модель.

Самозагрузка основана на наблюдении и, следовательно, требует ряда истинных наблюдений. Если вы читаете в книге, что C в среднем составляет 5 со стандартным отклонением 1, то вы можете установить модель Монте-Карло, даже если у вас нет наблюдений, из которых можно извлечь данные. Если ваши наблюдения недостаточны (например, астрономия), вы можете установить модель Монте-Карло с 6 наблюдениями и некоторыми предположениями об их распределении, но вы не сможете начать с 6 наблюдений.

Возможны смешанные модели с некоторыми входными данными, полученными из наблюдаемых данных, а некоторые из смоделированных (скажем, гипотетических) данных.

Изменить: В следующем обсуждении в комментариях, оригинальный постер нашел следующее полезное:

«Первоначальной программе» не важно, получает ли она значение, которое вы вычислили по среднему значению и отклонению, или это истинная реализация среднего значения и отклонения в естественном процессе.

Бернхард
источник

1

Спасибо за ответ Бернхард! Несколько вопросов, которые приходят мне в голову. 1. Правильно ли я понимаю, что единственное (основное?) Различие между этими двумя методами заключается в том, что MC должен принимать распределение неопределенностей, а загрузчик - нет? 2. Если бы у меня был достаточно большой набор данных, и я выполнял итерацию много раз ( ), сходятся ли тогда эти два метода по оценочной неопределенности, присвоенной наилучшему значению ? 3. Не отбрасываю ли я ценные данные, не используя неопределенности, назначенные входным данным в методе начальной загрузки?

N \to \infty

$N\to\infty$

Габриэль

1

Я статистически / машинно самообучаемый, поэтому я не буду утверждать, что любые из упомянутых различий являются единственными. Я даже не уверен, считается ли Bootstrapping самим методом Монте-Карло. Оба алгоритма имитируют большое количество реалистичных сценариев. Вы можете сделать выводы из предположений или из наблюдений. Моя область - медицина, и предположения, как известно, неверны в этой области. Поэтому я постараюсь использовать наблюдения, когда они доступны в достаточно большом количестве. Вполне может быть, что в области ближе к физике или химии, ...

Бернхард

1

... что в областях, более близких к физике или химии, предположения более надежны. Что касается пункта 2: если вы проведете достаточно большие выборки и итерации, я полагаю, вы обнаружите, что реальные данные никогда не распределяются по-настоящему нормально и что ваши предположения всегда немного ошибочны, но я не могу претендовать на какие-либо знания. Что касается пункта 3: я не уверен, что понял, что вы имеете в виду, отбрасывая ценные данные в методе начальной загрузки. «Назначение неопределенности» сделано человеком, данные поступают из реальности. Опять же, это мое убеждение, основанное на моей области. В действительности, у вас редко будет хорошая теория и большие данные

Бернхард,

1

По отбрасывая ценные данные я имею в виду , что метод начальной загрузки не используют неопределенности , присвоенных данные (то есть: ) Это «информация» о том , что метод МК учитывает но бутстраповский выброс.

σ_{A}, σ_{B}, σ_{C}

$\sigma_A, \sigma_B, \sigma_C$

Габриэль

1

Каждое наблюдение является измеренным значением и, таким образом, уже содержит свою собственную погрешность измерения и неопределенность. «Первоначальной программе» не важно, получает ли она значение, которое вы вычислили по среднему значению и отклонению, или это истинная реализация среднего значения и отклонения в естественном процессе. Но, конечно, все методы передискретизации основаны на больших данных, и вы можете вычислять произвольные числа или случайные числа, но обычно не делать произвольных чисел наблюдений. Так что в тех случаях, когда у вас есть большое количество наблюдений, я не вижу, где данные отбрасываются.

Бернхард

1

Если функция, связывающая выход Z с входами, является достаточно линейной (т. Е. В пределах диапазона изменения входов), дисперсия Z является комбинацией отклонений и ковариаций входов. Детали распределения не имеют большого значения ... Итак, оба метода должны возвращать одинаковые результаты.

См. Приложение 1 к ГУМу

паскаль
источник

Что происходит, когда функция не является достаточно линейной? Чем эти два метода будут отличаться?

Габриэль

В этом случае вам следует обратиться к ответу выше Бернхарда. То есть, чтобы они совпадали, у вас должно быть точное описание данных в формате pdf для Монте-Карло.

Паскаль

0

Начальная загрузка означает, что данные говорят сами за себя. С помощью метода Монте-Карло вы отбираете много случайных дро из наложенного CDF (нормальное; гамма; бета ...) через равномерное распределение и создаете эмпирический PDF (при условии, что CDF является непрерывным и выводимым). Интересное объяснение всего процесса Монте-Карло сообщается в: Бриггс А., Шульпер М., Клэкстон К. Моделирование решений для экономической оценки здоровья. Оксфорд: издательство Оксфордского университета, 2006: 93-95.

Карло Лаззаро
источник

Бутстрап против Монте-Карло, оценка ошибок

Ответы: