Каковы некоторые важные применения генерации случайных чисел в вычислительной статистике?

Как и почему генераторы случайных чисел (ГСЧ) важны в вычислительной статистике?

Я понимаю, что случайность важна при выборе выборок для многих статистических тестов, чтобы избежать смещения в отношении любой гипотезы, но есть ли другие области вычислительной статистики, где важны генераторы случайных чисел?

Есть много, много примеров. Слишком много, чтобы перечислить, и, вероятно, слишком много, чтобы кто-нибудь мог знать полностью (кроме, возможно, @whuber, который никогда не следует недооценивать).

Как вы упоминаете, в контролируемых экспериментах мы избегаем смещения выборки путем случайного разделения субъектов на группы лечения и контроля.

При начальной загрузке мы аппроксимируем повторную выборку из популяции путем случайной выборки с заменой из фиксированной выборки. Это позволяет нам оценивать дисперсию наших оценок, среди прочего.

При перекрестной проверке мы оцениваем погрешность оценки вне выборки путем случайного разделения наших данных на срезы и сборки случайных обучающих и тестовых наборов.

При тестировании перестановок мы используем случайные перестановки для выборки по нулевой гипотезе, что позволяет проводить непараметрические проверки гипотез в самых разных ситуациях.

В пакетировании мы контролируем дисперсию оценки, многократно выполняя оценку на выборках учебных данных, а затем усредняя результаты.

В случайных лесах мы также контролируем дисперсию оценки путем случайной выборки из доступных предикторов в каждой точке принятия решения.

В моделировании мы просим модель соответствия случайным образом генерировать новые наборы данных, которые мы можем сравнить с данными обучения или тестирования, помогая проверить соответствие и предположения в модели.

В цепочке Маркова Монте-Карло мы выбираем из распределения, исследуя пространство возможных результатов, используя цепочку Маркова (спасибо @Ben Bolker за этот пример).

Это обычные повседневные приложения, которые сразу приходят на ум. Если бы я копал глубоко, я бы, вероятно, удвоил длину этого списка. Случайность является и важным объектом изучения, и важным инструментом для владения.

Это все верно, но не решает основную проблему: PRNG с какой- либо результирующей структурой или предсказуемостью в последовательности приведет к сбою моделирования. Карл Виттофт 31 января в 15:51

Если вас это беспокоит, возможно, название вопроса следует изменить на «Влияние выбора ГСЧ на результаты Монте-Карло» или что-то в этом роде. В этом случае уже рассматривается вопрос о перекрестной проверке SE , вот несколько направлений

• Если вы рассматриваете плохо спроектированные ГСЧ, такие как печально известный RANDU, они явно окажут негативное влияние на приближение Монте-Карло. Чтобы выявить недостатки в ГСЧ, существуют банки эталонных тестов, таких как тесты Марсальи по Диарду . (Например, Park & ​​Miller (1988) было обнаружено, что использование конгруэнтного генератора Лемера с коэффициентом 16807 отсутствует , что , его следует заменить на 47271 или 69621. Конечно, это было заменено массивными генераторами периодов, такими как Mersenne Twister PRNG .)
• SE вопрос о математике предоставляет ссылку на воздействие (или отсутствие таковых) по оценке и точности, если не очень полезный ответ.
• У Джеффа Розенталя (U Toronto) есть статья, в которой он изучает влияние на ГСЧ на сходимость цепей Маркова (Монте-Карло), но я не могу его найти. Я недавно побежал небольшой эксперимент в своем блоге без видимого влияния типа ГСЧ.
  • Кроме того, в схеме лотереи в Онтарио использовалась плохо спроектированная генерация случайных чисел, которая была обнаружена статистиком Моханом Шриваставой из Торонто, Канада, который уведомил Корпорацию лотереи и азартных игр Онтарио об этой проблеме, а не извлекала из этого огромную прибыль. лазейка.
• Вот иллюстрация случая, когда на классический сетевой симулятор влияет плохой выбор по умолчанию (связанный с Парком и Миллером выше).
• Существуют определенные проблемы со структурой ГСЧ, используемых в параллельных вычислениях . Использование нескольких семян обычно недостаточно, особенно для линейных конгруэнтных генераторов. В компьютерной литературе можно найти много подходов, в том числе пакеты масштабируемой параллельной генерации случайных чисел (SPRNG) Майкла Масканьи (включая версию R) и динамического создателя Matsumoto , программы на C, которая предоставляет начальные значения для независимых потоков при использовании твистера Мерсенна , Это также было решено на переполнении стека SE .
• В прошлом году я видел разговор по Paula Уитлок о влиянии ГНУ научной библиотеки о сходимости большой размерности случайных блужданий, но не может.
• В заключение приведу небольшую литературу о различиях между программным и аппаратным ГСЧ, в которой утверждается, что экстрасенсы могут повлиять на более поздние версии !