Как ученые выяснили форму функции плотности вероятности нормального распределения?

Это, вероятно, любительский вопрос, но меня интересует, как ученые пришли к форме функции плотности вероятности нормального распределения? В основном меня беспокоит то, что для кого-то, возможно, было бы более интуитивно понятно, что функция вероятности нормально распределенных данных имеет форму равнобедренного треугольника, а не кривой колокола, и как бы вы доказали такому человеку, что функция плотности вероятности все нормально распределенные данные имеют форму колокола? Экспериментом? Или каким-то математическим выводом?

В конце концов, что мы на самом деле считаем нормально распределенными данными? Данные, которые соответствуют вероятностному закону нормального распределения или что-то еще?

В основном мой вопрос: почему функция плотности вероятности нормального распределения имеет форму колокола, а не какую-либо другую? И как ученые выяснили, к каким сценариям реальной жизни можно применить нормальное распределение, путем эксперимента или изучения природы различных данных?

Таким образом, я нашел эту ссылку действительно полезной для объяснения происхождения функциональной формы кривой нормального распределения и, таким образом, для ответа на вопрос «Почему нормальное распределение выглядит так, как оно есть, а не что-нибудь еще?». Истинно умопомрачительные рассуждения, по крайней мере для меня.

« Эволюция нормального распределения » SAUL STAHL - лучший источник информации, чтобы ответить практически на все вопросы в вашем посте. Я приведу несколько пунктов только для вашего удобства, потому что вы найдете подробное обсуждение в статье.

Это, наверное, любительский вопрос

Нет, это интересный вопрос для всех, кто использует статистику, потому что это подробно не рассматривается нигде в стандартных курсах.

В основном меня беспокоит то, что для кого-то, возможно, было бы более интуитивно понятно, что функция вероятности нормально распределенных данных имеет форму равнобедренного треугольника, а не кривой колокола, и как бы вы доказали такому человеку, что функция плотности вероятности все нормально распределенные данные имеют форму колокола?

Посмотрите на эту картинку из бумаги. Он показывает кривые ошибок, которые Симпсон придумал до того, как было обнаружено гауссово (нормальное) значение для анализа экспериментальных данных. Итак, ваша интуиция на месте.

Экспериментом?

Да, именно поэтому они назывались «кривыми ошибок». Эксперимент проводился по астрономическим измерениям. Астрономы боролись с ошибками измерений на протяжении веков.

Или каким-то математическим выводом?

Снова ДА! Короче говоря: анализ ошибок в астрономических данных привел Гаусса к его (иначе говоря, нормальному) распределению. Вот предположения, которые он использовал:

Кстати, Лаплас использовал несколько разных подходов, а также придумал свое распределение при работе с астрономическими данными:

Относительно того, почему нормальное распределение показывает в эксперименте как ошибки измерения, здесь приводятся типичные объяснения, которые используют физики с волнистой рукой (цитата из Герхарда Бома, Гюнтера Цеха, Введение в статистику и анализ данных для физиков, стр. 85):

Многие экспериментальные сигналы в очень хорошем приближении соответствуют нормальному распределению. Это связано с тем, что они состоят из суммы многих вкладов и следствия центральной предельной теоремы.

Вы, кажется, предполагаете в своем вопросе, что концепция нормального распределения существовала до того, как распределение было идентифицировано, и люди пытались выяснить, что это было. Мне не ясно, как это будет работать. [Редактировать: есть по крайней мере один смысл, который мы могли бы рассматривать как «поиск дистрибутива», но это не «поиск дистрибутива, который описывает множество явлений»]

Это не вариант; распределение было известно еще до того, как его назвали нормальным распределением.

как бы вы доказали такому человеку, что функция плотности вероятности всех нормально распределенных данных имеет форму колокола

Функция нормального распределения - это то, что имеет то, что обычно называется «формой колокола» - все нормальные распределения имеют одинаковую «форму» (в том смысле, что они отличаются только по масштабу и расположению).

Данные могут выглядеть более или менее «колоколообразно» в распределении, но это не делает его нормальным. Многие ненормальные распределения выглядят аналогично «колоколообразному».

Фактическое распределение населения, из которого извлекаются данные, вероятно, никогда не бывает нормальным, хотя иногда это довольно разумное приближение.

Как правило, это справедливо почти для всех дистрибутивов, которые мы применяем к вещам в реальном мире - это модели , а не факты о мире. [Например, если мы сделаем определенные предположения (те, которые относятся к пуассоновскому процессу), мы можем вывести распределение Пуассона - широко используемое распределение. Но полностью ли удовлетворены эти предположения ? Как правило, лучшее, что мы можем сказать (в правильных ситуациях), это то, что они почти правдивы.]

что мы на самом деле считаем нормально распределенными данными? Данные, которые соответствуют вероятностному закону нормального распределения или что-то еще?

Да, чтобы фактически быть нормально распределенным, популяция, из которой была взята выборка, должна иметь распределение, которое имеет точную функциональную форму нормального распределения. В результате, любое конечное население не может быть нормальным. Переменные, которые обязательно должны быть ограничены, не могут быть нормальными (например, время, затрачиваемое на выполнение определенных задач, длины определенных вещей не могут быть отрицательными, поэтому они не могут быть распределены нормально).

возможно, было бы более интуитивно понятно, что функция вероятности нормально распределенных данных имеет форму равнобедренного треугольника

Я не понимаю, почему это обязательно более интуитивно понятно. Это конечно проще.

При первой разработке моделей для распределения ошибок (особенно для астрономии в раннем периоде) математики рассматривали различные формы в отношении распределений ошибок (включая в одной ранней точке треугольное распределение), но в большей части этой работы это была математика (скорее чем интуиция), который был использован. Например, Лаплас рассмотрел двойное экспоненциальное и нормальное распределения (среди нескольких других). Точно так же Гаусс использовал математику, чтобы вывести ее примерно в одно и то же время, но в связи с другим набором соображений, чем Лаплас.

В узком смысле, что Лаплас и Гаусс рассматривали «распределения ошибок», мы могли бы рассматривать их как «поиск распределения», по крайней мере, какое-то время. Оба постулировали некоторые свойства для распределения ошибок, которые они считали важными (Лаплас рассматривал последовательность несколько разных критериев во времени), что привело к различным распределениям.

В основном мой вопрос: почему функция плотности вероятности нормального распределения имеет форму колокола, а не какую-либо другую?

Функциональная форма вещи, которая называется функцией нормальной плотности, придает ей такую ​​форму. Рассмотрим стандартную нормаль (для простоты; каждая другая нормаль имеет одинаковую форму, отличающуюся только масштабом и расположением):

$k$

$x$

В то время как некоторые люди считают нормальное распределение как-то «обычным», на самом деле только в определенных ситуациях вы склонны рассматривать его как приблизительное.

Обнаружение распределения обычно приписывается де Моивру (как приближение к биномиальному). Он фактически получил функциональную форму, пытаясь приблизить биномиальные коэффициенты (/ биномиальные вероятности) для аппроксимации утомительных в других отношениях вычислений, но - хотя он эффективно выводит форму нормального распределения - он, похоже, не думал о своем приближении как распределение вероятностей, хотя некоторые авторы предполагают, что он сделал. Требуется определенное количество толкований, поэтому существуют различия в этой интерпретации.

Гаусс и Лаплас работали над этим в начале 1800-х годов; Гаусс писал об этом в 1809 году (в связи с тем, что это распределение, для которого среднее значение является MLE центра), а Лаплас в 1810 году - как приближение к распределению сумм симметричных случайных величин. Десять лет спустя Лаплас дает раннюю форму центральной предельной теоремы для дискретных и непрерывных переменных.

Ранние названия для распределения включают в себя закон ошибки , закон частоты ошибок , и он также был назван в честь Лапласа и Гаусса, иногда совместно.

Термин «нормальный» использовался для независимого описания распределения тремя разными авторами в 1870-х годах (Пирс, Лексис и Гальтон), первым в 1873 году и двумя другими в 1877 году. Это более чем через шестьдесят лет после работы Гаусса и Лапласа и более чем вдвое больше, чем в приближении де Мойр. Использование Гальтона, вероятно, было наиболее влиятельным, но он использовал термин «нормальный» по отношению к нему только один раз в работе 1877 года (в основном называя это «законом отклонения»).

Однако в 1880-х годах Гальтон много раз использовал прилагательное «нормальное» по отношению к распределению (например, как «нормальная кривая» в 1889 году), и он, в свою очередь, оказал большое влияние на более поздних статистиков в Великобритании (особенно на Карла Пирсона). ). Он не сказал, почему он использовал термин «нормальный» таким образом, но, вероятно, имел в виду его в смысле «типичный» или «обычный».

Первое явное использование фразы «нормальное распределение», по-видимому, принадлежит Карлу Пирсону; он, безусловно, использует его в 1894 году, хотя утверждает, что использовал его задолго до этого (претензию я бы рассматривал с некоторой осторожностью).

Ссылки:

Миллер, Джефф
"Самые ранние из известных применений некоторых слов математики:"
Нормальное распределение (статья Джона Олдрича)
http://jeff560.tripod.com/n.html

Шталь, Саул (2006),
"Эволюция нормального распределения",
Математический журнал , Vol. 79, № 2 (апрель), стр. 96-113
https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf

Нормальное распределение, (2016, 1 августа).
В Википедии, Свободная энциклопедия.
Получено 12:02, 3 августа 2016 г., из
https://en.wikipedia.org/w/index.php?title=Normal_distribution&oldid=732559095#History

Hald, A (2007),
«Нормальное приближение де Моивра к биному, 1733 и его обобщение»,
В: История параметрического статистического вывода от Бернулли до Фишера, 1713–1935; С. 17-24

[Вы можете заметить существенные расхождения между этими источниками по отношению к их описанию де Моивр]

«Нормальное» распределение определяется как конкретное распределение.

Вопрос в том, почему мы ожидаем, что это конкретное распределение будет общим по своей природе, и почему оно так часто используется в качестве приближения, даже если реальные данные точно не соответствуют этому распределению? (Реальные данные часто имеют «толстый хвост», т. Е. Значения, далекие от среднего, встречаются гораздо чаще, чем предсказывает нормальное распределение).

Другими словами, что особенного в нормальном распределении?

Нормаль имеет много «хороших» статистических свойств (см., Например, https://en.wikipedia.org/wiki/Central_limit_theorem ), но наиболее важным IMO является тот факт, что это функция «максимальной энтропии» для любого распределения с данное среднее значение и дисперсия. https://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution

Чтобы выразить это на обычном языке, если вам даны только среднее значение (центральная точка) и дисперсия (ширина) распределения, и вы больше ничего не предполагаете, вы будете вынуждены нарисовать нормальное распределение. Все остальное требует дополнительной информации (в смысле теории информации Шеннона ), например асимметрии, для ее определения.

Принцип максимальной энтропии был введен Э.Т. Джейнсом как способ определения разумных априоров в байесовском выводе, и я думаю, что он был первым, кто обратил внимание на это свойство.

См. Это для дальнейшего обсуждения: http://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/documents/tutorials/Gaussian-distribution.pdf

Нормальное распределение (ака « Гауссово распределение ») имеет прочную математическую основу. Центральная предельная теорема гласит , что если у вас есть конечное множество п независимые и одинаково распределенные случайные величины , имеющие определенное среднего значение и дисперсию, и вы берете среднее из этих случайных величин, распределение результата будет сходиться к гауссовскому распределению при п уходит в бесконечность. Здесь нет догадок, поскольку математический вывод приводит к этой конкретной функции распределения и никакой другой.

Чтобы выразить это более осмысленно, рассмотрим одну случайную переменную, такую ​​как подбрасывание справедливой монеты (2 одинаково возможных результата). Вероятность получения определенного результата составляет 1/2 для головы и 1/2 для хвоста.

Если вы увеличите количество монет и отследите общее количество голов, полученных с каждым испытанием, вы получите биномиальное распределение , которое имеет примерно форму колокола. Просто нарисуйте число головок вдоль оси x и количество раз, когда вы перевернули столько головок вдоль оси y.

Чем больше монет вы используете, и чем чаще вы подбрасываете монеты, тем ближе график будет выглядеть, как кривая гауссова колокола. Это то, что утверждает Центральная предельная теорема.

Удивительно, что теорема не зависит от того, как на самом деле распределены случайные переменные, лишь бы каждая из них имела одинаковое распределение. Одна из ключевых идей теоремы заключается в том, что вы добавляете или усредняете случайные величины. Другая ключевая концепция заключается в том, что теорема описывает математический предел по мере того, как число случайных величин становится все больше и больше. Чем больше переменных вы используете, тем ближе распределение будет приближаться к нормальному распределению.

Я рекомендую вам взять класс по математической статистике, если вы хотите увидеть, как математики определили, что нормальное распределение на самом деле является математически правильной функцией для кривой колокола.

Есть несколько отличных ответов на эту тему. Я не могу не чувствовать, что ОП не задавал тот же вопрос, на который все хотят ответить. Я понимаю, что это потому, что этот вопрос близок к тому, чтобы ответить на один из самых захватывающих вопросов - я действительно нашел его, потому что надеялся, что у кого-то возник вопрос: «Как мы узнаем, что обычный PDF - это PDF?» и я искал это. Но я думаю, что ответом на вопрос может стать демонстрация происхождения нормального распределения.

$n$$n$$np$$np(1-p)$$n\to\infty$ и замены факторных значений приближением Стирлинга.

$n\to\infty$$p\to0$$np=1$

$n=10$$p=0.5$$n=100$$p=0.5$$n$

Если я сейчас брошу 100 монет на землю и посчитаю, сколько голов я получу, я могу считать 0 голов или 100 голов, но я с большей вероятностью посчитаю число где-то посередине. Вы понимаете, почему эта гистограмма должна иметь форму колокола?

Также упомянул бы вывод Максвелла-Гершеля о независимом многомерном нормальном распределении из двух предположений:

1. Распределение не зависит от поворота вектора.

2. Компоненты вектора независимы.

Вот экспозиция Джейнса