Почему среднее арифметическое меньше среднего по логарифмически нормальному распределению?

Итак, у меня есть случайный процесс генерирования лог-нормально распределенных случайных величин . Вот соответствующая функция плотности вероятности: $X$

Я хотел оценить распределение нескольких моментов этого исходного распределения, скажем, 1-го момента: среднее арифметическое. Для этого 10000 раз я нарисовал 100 случайных величин, чтобы вычислить 10000 оценок среднего арифметического.

Есть два разных способа оценить это значение (по крайней мере, это то, что я понял: я могу ошибаться):

путем простого вычисления среднего арифметического обычным способом: $\bar{X} = \sum_{i = 1}^{N} \frac{X_{i}}{N} .$ $\bar{X} = \sum_{i=1}^N \frac{X_i}{N}.$
или путем первой оценки и из основного нормального распределения: $\sigma$ $\mu$ а затем среднее значение как $μ = \sum_{i = 1}^{N} \frac{журнал ({Икс}_{я})}{N} σ^{2} знак равно Σ_{я знак равно 1}^{N} \frac{{(журнал ({Икс}_{я}) - μ)}^{2}}{N}$ $\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}$ $\bar{Икс} знак равно ехр (μ + \frac{1}{2} σ^{2}),$ $\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2).$

Проблема в том, что распределения, соответствующие каждой из этих оценок, систематически различаются:

«Простое» среднее значение (представленное красной пунктирной линией) обычно дает более низкие значения, чем значение, полученное из экспоненциальной формы (зеленая простая линия). Хотя оба средства рассчитаны на один и тот же набор данных. Обратите внимание, что эта разница носит систематический характер.

Почему эти распределения не равны?

estimation bias fitting lognormal moments JohnW
источник

каковы ваши истинные параметры для

μ

$\mu$

σ

$\sigma$

Кристоф Ханк

, но, пожалуйста, обратите внимание, что я заинтересован в оценке этих параметров, поэтому мы используем подход Монте-Карло, а не вычисляем значение из этих необработанных чисел.

μ = 3

$\mu = 3$

σ = 1.5

$\sigma = 1.5$

JohnW

конечно, это для тиражирования ваших результатов.

Кристоф Ханк

Интересно, что это явление не имеет ничего общего с логнормальностью. Учитывая положительные числа

с логарифмами

, хорошо известно их среднее арифметическое (AM)

никогда не меньше , чем их среднее геометрическое (GM)

. В другом направлении AM никогда не больше GM, умноженного на

где

- дисперсия

x_{i}

$x_i$

y_{i}

$y_i$

\sum x_{i} / n

$\sum x_i/n$

\exp (\sum y_{i} / n)

$\exp(\sum y_i/n)$

\exp (s_{y}^{2} / 2)

$\exp(s_y^2/2)$

s_{y}^{2}

$s_y^2$

y_{i}

$y_i$ , Таким образом, пунктирная красная кривая должна лежать слева от сплошной зеленой кривой для любого родительского распределения (описывающего положительные случайные числа).

whuber

Если большая часть среднего значения получается из крошечной вероятности огромных чисел, арифметическое среднее по конечной выборке может недооценивать среднее по совокупности с высокой вероятностью. (В ожидании это непредвзято, но существует большая вероятность небольшой недооценки и небольшой вероятности большой переоценки.) Этот вопрос также может относиться к этому: stats.stackexchange.com/questions/214733/…

Мэтью Ганн

Ответы:

Две сравниваемые оценки - это метод оценки моментов (1.) и MLE (2.), см. Здесь . Оба они согласуются (так при больших , они находятся в определенном смысле , вероятно, будет близка к истинному значению ). $N$ $\exp[\mu+1/2\sigma^2]$

$\bar X\to_pE(X_i)$

\exp [\hat{μ} + 1 / 2 {\hat{σ}}^{2}] \to_{p} \exp [μ + 1 / 2 σ^{2}],

$\exp[\hat\mu+1/2\hat\sigma^2]\to_p\exp[\mu+1/2\sigma^2],$

\hat{μ} \to_{p} μ

$\hat\mu\to_p\mu$

{\hat{σ}}^{2} \to_{p} σ^{2}

$\hat\sigma^2\to_p\sigma^2$

MLE, однако, не беспристрастен.

$N$ $\hat\mu$ $\hat\sigma^2$ $N=100$ $N-1$ $\mu$ $\sigma^2$

$E(\hat\mu+1/2\hat\sigma^2)\approx\mu+1/2\sigma^2$

E [\exp (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] > \exp [E (\hat{μ} + 1 / 2 {\hat{σ}}^{2})] \approx \exp [μ + 1 / 2 σ^{2}]

$E[\exp(\hat\mu+1/2\hat\sigma^2)]>\exp[E(\hat\mu+1/2\hat\sigma^2)]\approx \exp[\mu+1/2\sigma^2]$

$N=100$

$N=1000$

Создано с помощью:

N <- 1000
reps <- 10000

mu <- 3
sigma <- 1.5
mm <- mle <- rep(NA,reps)

for (i in 1:reps){
  X <- rlnorm(N, meanlog = mu, sdlog = sigma)
  mm[i] <- mean(X)

  normmean <- mean(log(X))
  normvar <- (N-1)/N*var(log(X))
  mle[i] <- exp(normmean+normvar/2)
}
plot(density(mm),col="green",lwd=2)
truemean <- exp(mu+1/2*sigma^2)
abline(v=truemean,lty=2)
lines(density(mle),col="red",lwd=2,lty=2)

> truemean
[1] 61.86781

> mean(mm)
[1] 61.97504

> mean(mle)
[1] 61.98256

$\exp(\mu+\sigma^2/2)$

V_{t} = (σ^{2} + σ^{4} / 2) \cdot \exp {2 (μ + \frac{1}{2} σ^{2})},

$V_t = (\sigma^2 + \sigma^4/2)\cdot \exp\left\{2(\mu + \frac 12\sigma^2)\right\},$

\exp {2 (μ + \frac{1}{2} σ^{2})} (\exp {σ^{2}} - 1)

$\exp\left\{2(\mu + \frac 12\sigma^2)\right\}(\exp\{\sigma^2\}-1)$

\exp {σ^{2}} > 1 + σ^{2} + σ^{4} / 2,

$\exp\{\sigma^2\}>1+\sigma^2 + \sigma^4/2,$

\exp (x) = \sum_{i = 0}^{\infty} x^{i} / i!

$\exp(x)=\sum_{i=0}^\infty x^i/i!$

σ^{2} > 0

$\sigma^2>0$

$N$ N <- c(50,100,200,500,1000,2000,3000,5000)

$N$ $N$ $N=50$

> tail(sort(mm))
[1] 336.7619 356.6176 369.3869 385.8879 413.1249 784.6867
> tail(sort(mle))
[1] 187.7215 205.1379 216.0167 222.8078 229.6142 259.8727

Кристоф Ханк
источник

N

$N$

N = 100

$N=100$

N

$N$

Что ж, меня тоже удивляет, что между этими двумя методами есть такая большая разница, однако этот пример абсолютно идеален, чтобы продемонстрировать, почему «просто усреднение» может быть ужасным!

JohnW

@JohnW, я добавил небольшое аналитическое объяснение того, почему MLE имеет меньшую дисперсию.

Кристоф Ханк,

Расхождение связано с тем, что смещение является проблемой конечного образца, т. Е. Оно исчезает как

N

$N$ уходит в бесконечность. Сравнение асимптотической дисперсии (как следует из названия) показывает только то, что происходит в пределе, так как

N \to \infty

$N\to\infty$ ,

Кристоф Ханк