Как я могу аналитически доказать, что случайное деление суммы приводит к экспоненциальному распределению (например, дохода и богатства)?

В этой текущей статье в НАУКЕ предлагается следующее:

Предположим, вы случайным образом поделили доход в 500 миллионов на 10 000 человек. Есть только один способ дать всем равные 50 000 акций. Так что, если вы распределяете прибыль случайно, равенство крайне маловероятно. Но есть бесчисленное множество способов дать нескольким людям много денег, а многим - мало или ничего. Фактически, учитывая все способы, которыми вы могли бы разделить доход, большинство из них производят экспоненциальное распределение дохода.

Я сделал это с помощью следующего кода R, который, кажется, подтверждает результат:

library(MASS)

w <- 500000000 #wealth
p <- 10000 #people

d <- diff(c(0,sort(runif(p-1,max=w)),w)) #wealth-distribution
h <- hist(d, col="red", main="Exponential decline", freq = FALSE, breaks = 45, xlim = c(0, quantile(d, 0.99)))

fit <- fitdistr(d,"exponential")
curve(dexp(x, rate = fit$estimate), col = "black", type="p", pch=16, add = TRUE)

Мой вопрос
Как я могу аналитически доказать, что полученное распределение действительно экспоненциально?

Приложение
Спасибо за ваши ответы и комментарии. Я подумал о проблеме и придумал следующие интуитивные рассуждения. В основном происходит следующее (Осторожно: впереди упрощение): вы как бы идете вдоль суммы и подбрасываете (смещенную) монету. Каждый раз, когда вы получаете, например, головы, вы делите сумму. Вы распределяете полученные разделы. В дискретном случае подбрасывание монеты следует биномиальному распределению, перегородки распределены геометрически. Непрерывными аналогами являются распределение Пуассона и экспоненциальное распределение соответственно! (По той же причине интуитивно становится понятно, почему геометрическое и экспоненциальное распределение обладают свойством без памяти - потому что у монеты тоже нет памяти).

Чтобы упростить задачу, давайте рассмотрим случай, когда допустимые значения доли каждого человека являются дискретными, например, целые числа. Эквивалентно, можно также представить разделение «оси дохода» на равные интервалы и аппроксимацию всех значений, попадающих в данный интервал, по средней точке.

Обозначая общий доход как , разрешенное s-е значение как x s , общее количество людей как N , и, наконец, число людей с долями x s как n s , должны выполняться следующие условия: C 1 ( { N сек } ) ≡ Е сек н ы - N = 0 , и C 2 ( { N сек } ) ≡ Е сек п $X$$s$$x_{s}$$N$$x_{s}$$n_{s}$

$$\begin{equation} C_{1} (\{n_{s}\})\equiv\sum_{s} n_{s} - N = 0, \end{equation}$$ $$\begin{equation} C_{2} (\{n_{s}\})\equiv \sum_{s} n_{s} x_{s} - X = 0. \end{equation}$$

Обратите внимание, что много разных способов разделения доли могут представлять одно и то же распределение. Например, если бы мы поделили 4 доллара между двумя людьми, 3 доллара для Алисы и 1 доллар для Боба и наоборот дали бы одинаковое распределение. Поскольку деление является случайным, распределение с максимальным количеством соответствующих способов деления доли имеет наилучшие шансы.

Чтобы получить такое распределение, нужно максимизировать соответствии с двумя ограничениями приведены выше. Метод множителей Лагранжа является каноническим подходом к этому. Кроме того, можно выбрать работу сlnWвместо самогоW, так как «ln» является монотонно возрастающей функцией. То есть, ∂пер

$$\begin{equation} W(\{n_{s}\}) \equiv \frac{N!}{\prod_{s} n_{s}!}, \end{equation}$$ $\ln W$$W$$\ln$ гдеλ1,2собой множители Лагранжа. Обратите вниманиечтосоответствии сформулой Стирлинга, перп! ≈nlnn-n, что приводит к dlnn $$\begin{equation} \frac{\partial \ln W}{\partial n_{s}} = \lambda_{1} \frac{\partial C_{1}}{\partial n_{s}} + \lambda_{2} \frac{\partial C_{1}}{\partial n_{s}} = \lambda_{1} + \lambda_{2} x_{s}, \end{equation}$$ $\lambda_{1,2}$ $$\begin{equation} \ln n! \approx n\ln n - n, \end{equation}$$ Таким образом, ∂ln $$\begin{equation} \frac{d\ln n!}{dn} \approx \ln n. \end{equation}$$ Из этого следует, что ns≈exp(-λ1-λ2xs), что является экспоненциальным распределением. Можно получить значения множителей Лагранжа, используя ограничения. Из первого ограничения, $$\begin{equation} \frac{\partial \ln W}{\partial n_{s}} \approx -\ln n_{s}. \end{equation}$$ $$\begin{equation} n_{s} \approx \exp\big(-\lambda_{1} - \lambda_{2} x_{s}\big), \end{equation}$$ гдеΔx- расстояние между допустимыми значениями. Точно так же $$\begin{equation} \begin{split} N &= \sum_{s} n_{s} \approx \sum_{s} \exp\big(-\lambda_{1} - \lambda_{2} x_{s}\big)\\ &\approx \frac{1}{\Delta x} \int_{0}^{\infty} \exp\big(-\lambda_{1} - \lambda_{2} x\big) \,\,dx\\ &=\frac{1}{\lambda_{2}\Delta x}\exp\big(-\lambda_{1}\big), \end{split} \end{equation}$$ $\Delta x$ Следовательно, мы имеем exp(-λ1)=N2Δ $$\begin{equation} \begin{split} X &= \sum_{s} n_{s}x_{s} \approx \sum_{s} x_{s}\,\exp\big(-\lambda_{1} - \lambda_{2} x_{s}\big)\\ &\approx \frac{1}{\Delta x} \int_{0}^{\infty} x\,\exp\big(-\lambda_{1} - \lambda_{2} x\big) \,\,dx\\ &=\frac{1}{\lambda_{2}^{2}\,\Delta x}\exp\big(-\lambda_{1}\big). \end{split} \end{equation}$$ и λ2= $$\begin{equation} \exp\big(-\lambda_{1}\big) = \frac{N^{2} \Delta x}{X}, \end{equation}$$ То, что это действительно максимум, а не минимум или седловая точка, видно из гессианаlnW-λ1C1-λ2C2. ПосколькуC1,2являются линейными поns, оно такое же, как уlnW: l 2 ln $$\begin{equation} \lambda_{2} = \frac{N}{X}. \end{equation}$$ $\ln W - \lambda_{1} C_{1} - \lambda_{2} C_{2}$$C_{1,2}$$n_{s}$$\ln W$ и ∂2пер $$\begin{equation} \frac{\partial^{2} \ln W}{\partial n_{s}^{2}} = -\frac{1}{n_{s}} < 0, \end{equation}$$ Следовательно, гессиан вогнут, и то, что мы нашли, действительно является максимумом. $$\begin{equation} \frac{\partial^{2} \ln W}{\partial n_{s}\partial n_{r}} = 0 \quad (s\neq r). \end{equation}$$

$W(\{n_{s}\})$$W(\{n_{s}\})$$n_{s}\gg 1$$n_{s}$

$N\sim 10^{23}$

Фактически вы можете доказать, что это не экспоненциально, а почти тривиально:

$500$$500$

Тем не менее, это не так сложно понять, что для вашего примера с равномерным зазором он должен быть близким к экспоненциальному.

Рассмотрим процесс Пуассона, когда события происходят случайным образом в некотором измерении. Количество событий на единицу интервала имеет распределение Пуассона, а разрыв между событиями экспоненциальный.

Если взять фиксированный интервал, то события в пуассоновском процессе, которые попадают в него, равномерно распределены в интервале. Смотрите здесь .

[Тем не менее, обратите внимание, что, поскольку интервал конечен, вы просто не можете наблюдать большие промежутки, чем длина интервала, и промежутки почти такого размера будут маловероятными (рассмотрим, например, в единичном интервале - если вы видите промежутки 0,04 и 0.01, следующий пробел, который вы видите, не может быть больше 0.95).]

$n$

$n$$n+1$$n$

Более конкретно, любой разрыв, который начинается в интервале, размещенном над процессом Пуассона, имеет шанс «подвергнуться цензуре» (эффективнее, сократить короче, чем он был бы в противном случае), запустив конец интервала.

$\hspace{1cm}$

Более длинные промежутки делают это с большей вероятностью, чем более короткие, и чем больше промежутки в интервале, тем меньше должна быть средняя длина промежутка - чем больше короткие промежутки. Эта тенденция к «обрезанию» будет иметь тенденцию влиять на распределение более длинных промежутков, чем коротких (и нет никаких шансов, что какой-либо разрыв, ограниченный интервалом, превысит длину интервала - поэтому распределение размера промежутка должно плавно уменьшаться в ноль при размере всего интервала).

На диаграмме более длинный интервал в конце сокращен, а относительно более короткий интервал в начале также короче. Эти эффекты смещают нас от экспоненциальности.

$n$

$n$

Вот симуляция распределения зазоров при n = 2:

Не очень экспоненциально.

$n$$\frac{1}{n+1}$

$\exp(-21x)$

$n=10000$

Давайте предположим, что деньги делятся бесконечно, поэтому мы можем иметь дело с действительными числами, а не с целыми числами.

$t=500000000$$n=10000$

$$p(x)=\frac{n-1}{t}\left(1-\frac{x}{t}\right)^{n-2}$$ $0 \le x \le t$ $$P(X \le x)=1 - \left(1-\frac{x}{t}\right)^{n-1}.$$

$X$$t$$t-X$$n$$n-1$$n=2$$n=1$

$n$ вам, вероятно, будет трудно отличить их эффекты от экспоненциального распределения с параметром, близким к $\frac{n}{t}$, Распределение асимптотически экспоненциально, потому что$\left(1-\frac{y}{m}\right)^{m} \to \exp(-y)$ как $m \to \infty$,

Сказать «предположим, что вы случайно поделили 500 миллионов доходов на 10 000 человек» недостаточно для ответа на вопрос. Существует много разных случайных процессов, которые можно использовать для выделения фиксированной суммы денег фиксированному числу людей, и каждый из них будет иметь свои особенности для конечного распределения. Вот три генеративных процесса, о которых я мог думать, и распределение богатства, которое каждый создает.

library(MASS)

w <- 500000000 #wealth
p <- 10000 #people

Метод 1, опубликованный OP:

Выберите числа 'p' из [0, w) равномерно случайным образом. Сортируй это. Добавьте «0» вперед. Раздайте суммы в долларах, представленные различиями между последовательными элементами в этом списке.

d <- diff(c(0,sort(runif(p-1,max=w)),w)) #wealth-distribution
h <- hist(d, col="red", main="Exponential decline", freq = FALSE, breaks = 45,
     xlim = c(0, quantile(d, 0.99)))
fit <- fitdistr(d,"exponential")
curve(dexp(x, rate = fit$estimate), col = "black", type="p", 
      pch=16, add = TRUE)

Способ 2:

Выбирайте числа «p» из [0, w) равномерно случайным образом. Рассмотрим эти «веса», так что «w» на самом деле не имеет значения на данном этапе. Нормализовать вес. Раздайте суммы в долларах, представленные долей 'w', соответствующей каждому весу.

d <- runif(p,max=w) #weigh-distribution
d <- d/sum(d)*w #wealth-distribution
h <- hist(d, col="red", main="pretty uniform", freq = FALSE, breaks = 45, 
          xlim = c(0, quantile(d, 0.99)))

Способ 3:

Начните с 'p' 0s. W раз, добавьте 1 к одному из них, выбранных случайным образом.

d <- rep(0, p)
for( i in 1:5000000){ ## for-loops in R are terrible, but this gives the idea.
    k <- floor(runif(1, max=p)) + 1    
    d[k] = (d[k] + 1)
}
h <- hist(d, col="red", main="kinda normalish?", freq = FALSE, breaks = 45,
          xlim = c(0, quantile(d, 0.99)))

Позвольте мне добавить кое-что относительно вашего приложения.

В непрерывном случае, как указано Glen_b и Генри, точный PDF для суммы, которую получает каждый человек,

$$\begin{equation} p(x) = \frac{N-1}{X}\left(1-\frac{x}{X}\right)^{N-2}, \end{equation}$$ где $N$ количество людей, и $X$ это общая сумма денег.

В дискретном случае, предполагая, что есть $M$ раздача монет, вероятность получения конкретным человеком $m$ монеты

$$\begin{equation} p(m) = \frac{N-1}{M+1}\prod_{j=0}^{N-3}\left(1-\frac{m}{M-j}\right)^{N-2}. \end{equation}$$ когда $M\gg N$Два случая согласуются друг с другом. Для достаточно большого$N$ и пока мы держимся в стороне от хвоста, они выглядят как экспоненциальные распределения.

В обоих случаях, как мы пробуем $N$ раз от этого истинного распределения вероятности, будет ошибка, связанная с конечным размером выборки.

Однако выполнение анализа ошибок не кажется простым, поскольку различные выборки в этом случае не являются независимыми. Они должны суммировать до общей суммы, и то, сколько получает первый человек, влияет на распределение вероятностей для второго человека и так далее.

Мой предыдущий ответ не страдает от этой проблемы, но я думаю, что было бы полезно посмотреть, как ее можно решить с помощью этого подхода.

Хороший теоретический анализ, проведенный с помощью ответов, полученных голосованием. Однако, вот мой простой эмпирический взгляд на то, почему распределение экспоненциально.

Когда вы распределяете деньги случайным образом , давайте рассмотрим, как вы делаете это один за другим. Пусть S будет исходной суммой.

Для первого человека вы должны выбрать случайную сумму от 0 до S. Таким образом, в среднем вы выберете S / 2 и останетесь с S / 2.

Для второго человека вы бы выбрали случайным образом от 0 до, в среднем, S / 2. Таким образом, в среднем вы выберете S / 4 и останетесь с S / 4.

Таким образом, вы в основном делите сумму пополам каждый раз (статистически).

Хотя в реальном примере у вас не будет непрерывно уменьшенных вдвое значений, это показывает, почему следует ожидать, что распределение будет экспоненциальным.