В чем разница между эргодическим и стационарным?

У меня проблемы с различением этих двух понятий. Это мое понимание до сих пор.

Стационарный процесс - это случайный процесс, статистические свойства которого не меняются со временем. Для стационарного процесса в строгом смысле это означает, что его совместное распределение вероятностей является постоянным; для стационарного процесса в широком смысле это означает, что его 1-й и 2-й моменты постоянны.

Эргодический процесс - это процесс, в котором его статистические свойства, такие как дисперсия, могут быть выведены из достаточно длинной выборки. Например, среднее значение выборки сходится к истинному среднему значению сигнала, если вы усредняете достаточно долго.

Теперь мне кажется, что сигнал должен быть стационарным, чтобы быть эргодическим.

• А какие сигналы могут быть стационарными, а не эргодическими?
• Например, если сигнал имеет одинаковую дисперсию за все время, как усредненная по времени дисперсия не может сходиться к истинному значению?
• Итак, каково реальное различие между этими двумя понятиями?
• Можете ли вы привести пример процесса, который является стационарным, не будучи эргодическим, или эргодическим, не будучи неподвижным?

Случайный процесс - это набор случайных величин, по одной на каждый рассматриваемый момент времени. Обычно это может быть непрерывное время ( ) или дискретное время (все целые числа или все моменты времени где - интервал выборки). $-\infty < t < \infty$$n$$nT$$T$

• Стационарность относится к распределению случайных величин. В частности, в стационарном процессе, все случайные переменные имеют ту же функцию распределения, а в более общем случае , для каждого положительного целого числа и моменты времени , то совместное распределение случайных величин совпадает с совместным распределением . То есть, если мы сместим все моменты времени на , статистическое описание процесса не изменится вообще: процесс является стационарным$n$$n$$t_1, t_2, \ldots, t_n$ n X ( t 1 ) , X ( t 2 ) , ⋯ , X ( t n ) X ( t 1 + τ ) , X ( t 2 + τ ) , ⋯ , X ( t n + τ ) τ$n$$X(t_1), X(t_2), \cdots, X(t_n)$$X(t_1+\tau), X(t_2+\tau), \cdots, X(t_n+\tau)$$\tau$,
• Эргодичность, с другой стороны, рассматривает не статистические свойства случайных величин, а пути выборки , то есть то, что вы наблюдаете физически. Возвращаясь к случайным переменным, напомним, что случайные переменные являются отображениями из выборочного пространства в действительные числа; каждый результат отображается на действительное число, и разные случайные переменные обычно отображают любой данный результат на разные числа. Итак, представьте, что какое-то высшее существо в процессе эксперимента привело к результату в пространстве выборки, и этот результат был отображен на (обычно разные) действительные числа всеми случайными переменными в процессе: в частности, случайными переменная сопоставлена$\omega$$X(t)$$\omega$к действительному числу мы будем обозначать как . В числе , рассматриваемое в качестве сигнала, является образец путем , соответствующий , а также различные результаты дадут нам различные пути образца. Эргодичность имеет дело со свойствами выборочных путей и тем, как эти свойства связаны со свойствами случайных величин, составляющих случайный процесс.$x(t)$x ( t ) ω $x(t)$$\omega$

Теперь для образца пути из стационарного процесса мы можем вычислить среднее время но какое отношение имеет к , среднему значению случайного процесса? (Обратите внимание, что не имеет значения, какое значение мы используем; все случайные переменные имеют одинаковое распределение и поэтому имеют одинаковое среднее значение (если среднее существует)). Как говорит OP, среднее значение или постоянная составляющая пути пробы сходятся к среднему значению процесса, если путь пробы наблюдается достаточно долго, при условии, что процесс является эргодическим$x(t)$ˉ x = 1

$$\bar{x} = \frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$$ $\bar{x}$$\mu = E[X(t)]$t lim T → ∞ ˉ x = lim T → ∞ 1$t$и стационарные, и т. д. То есть эргодичность - это то, что позволяет нам связать результаты двух вычислений и утверждать, что равно Способ , для которых такого имеет место равенство называется средним-эргодичен , и процесс является средним-эргодическим , если его функция автоковариационной обладает свойством: $$\lim_{T\to \infty}\bar{x} = \lim_{T\to \infty}\frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$$ μ = E [ X ( t ) ] = ∫ ∞ - ∞ u f X ( u )
$$\mu = E[X(t)] = \int_{-\infty}^\infty uf_X(u) \,\mathrm du.$$ $C_X(\tau)$ $$\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^T C_X(\tau) \mathrm d\tau = 0.$$

Таким образом, не все стационарные процессы должны быть среднеэргодическими. Но есть и другие формы эргодичности. Например, для автоковариантно-эргодического процесса автоковариантная функция конечного сегмента (скажем, для выборочного пути сходится к автоковариантной функции процесса как . Общее утверждение о том, что процесс является эргодическим, может означать любую из различных форм или может означать конкретную форму;$t\in (-T, T)$$x(t)$$C_X(\tau)$$T\to \infty$

В качестве примера различия между этими двумя понятиями предположим, что для всех рассматриваемых . Здесь - случайная величина. Это является стационарным процессом: каждый имеет такое же распределение (а именно, распределение ), то же самое среднее , такая же дисперсия и т.д .; каждый и имеют одинаковое совместное распределение (хотя оно вырожденное) и так далее. Но этот процесс не является эргодическим, потому что каждый путь выборки является константой . В частности, если испытание эксперимента (выполненного вами или вышестоящим существом) приводит к$X(t) = Y$$t$$Y$$X(t)$$Y$$E[X(t)] = E[Y]$$X(t_1)$$X(t_2)$$Y$ имеет значение , то образец пути случайного процесса, который соответствует этому экспериментальному результату, имеет значение для всех , а значение DC пути образца составляет , а не , независимо от того, как долго вы наблюдаете (довольно скучный) образец пути. В параллельном юниверсе испытание приведет к а путь к образцу в этом юниверсе будет иметь значение для всех . Нелегко написать математические спецификации, чтобы исключить такие тривиальности из класса стационарных процессов, и поэтому это очень минимальный пример стационарного случайного процесса, который не является эргодическим.$\alpha$$\alpha$$t$$\alpha$$E[X(t)] = E[Y]$$Y = \beta$$\beta$$t$

Может ли быть случайный процесс, который не является стационарным, но является эргодическим? Ну, N0 , нет, если под эргодикой мы подразумеваем эргодику всеми возможными способами: например, если мы измеряем долю времени, в течение которого длинный отрезок пути выборки имеет значение не более , это хорошая оценка , значения (общего) CDF для в если процесс соответствует быть эргодическим по отношению к функциям распределения. Но мы можем иметь случайные процессы, которые$x(t)$$\alpha$$P(X(t) \leq \alpha) = F_X(\alpha)$$F_X$$X(t)$$\alpha$не стационарные, но, тем не менее, средне- эргодические и автоковариантно- эргодические. Например, рассмотрим процесс где принимает четыре одинаково вероятных значения и . Обратите внимание, что каждый является дискретной случайной величиной, которая, как правило, принимает четыре одинаково вероятных значения и Легко видеть, что в общем случае и$\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$$\Theta$$0, \pi/2, \pi$$3\pi/2$$X(t)$$\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$$\cos(t+3\pi/2)=\sin(t)$$X(t)$$X(s)$имеют разные распределения, и поэтому процесс даже не является стационарным первого порядка. С другой стороны, для каждого пока Короче говоря, процесс имеет нулевое среднее значение и его автокорреляции (и автоковариационная) функция зависит только от разницы во времени , и поэтому процесс является

$$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$$ $t$ $$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$$ $t-s$широкий смысл стационарный. Но он не является стационарным первого порядка и поэтому не может быть стационарным для более высоких порядков. Теперь, когда эксперимент выполнен и значение известно, мы получаем функцию выборки, которая явно должна быть одной из и которые имеют значение DC равное и чья автокорреляционная функция , же, как , и поэтому этот процесс является среднеэргодическим и автокорреляционным-эргодическим, даже если он не является стационарным. В заключение отмечу, что процесс не является эргодическим по отношению к функции распределения.$\Theta$$\pm \cos(t)$$\pm \sin(t)$$0$$0$$\frac 12 \cos(\tau)$$R_X(\tau)$то есть его нельзя назвать эргодическим во всех отношениях.

Давайте рассмотрим гипотетический случайный процесс, в котором функции выборки являются значениями постоянного тока и отличаются друг от друга:

X ₁ (t) = константа = среднее значение X ₁ (t)

X ₂ (t) = постоянная = среднее значение X ₂ (t)

Средние значения времени и постоянны, но не равны. если мой процесс является стационарным, и равны и RVs (см. ответ Дилипа)Х 2 ( т ) Х ( т 1 ) Х ( т 2$X_1(t)$$X_2(t)$$X(t_1)$$X(t_2)$

Таким образом, среднее по ансамблю является постоянным.$X(t)$

Это среднее ансамбля, конечно, не равно временному среднему для и (сами они не равны). Это можно назвать стационарным, но не эргодическим процессом.Х 2 ( т $X_1(t)$$X_2(t)$

Напротив, где - RV, является эргодическим.$X(t)=Acos(\omega t+\theta)$$\theta$

Надеюсь, что это видео (из Технологического института Флориды под названием «Что такое стационарный, строгий смысл, эргодические сигналы» доктора Ивицы Костанич в своем классе теории связи) из 16:55 может очистить ваши сомнения

Эргодический процесс - это процесс, для которого вы можете заменить эргодическое среднее временным средним.

Реальное среднее значение, дисперсия и т. Д. Определяются следующим образом: процесс по времени и усреднение и т. Д. Например, если вы хотите узнать среднее значение моего размера, вам придется усреднить его с момента моего рождения. когда я умру. Очевидно, что последний пример не является стационарным процессом.

Среднее эргодическое значение было бы, если бы вместо того, чтобы следить за моим размером с течением времени, вы бы заморозили время и взяли среднее значение для выборки разных людей. Нет никаких причин для того, чтобы эти два средства были одинаковыми, поэтому процесс моего размера не является эргодическим.

Это плохой пример, но он становится более важным, если вы рассматриваете простой случай газа в равновесии. Например, средняя квадратичная скорость отмечается как (среднее по времени), но часто рассчитывается путем взятия среднего по ансамблю : среднего квадратной скорости всех молекул газ в момент времени . ⟨V2⟩$\bar{V^2}$$\left< V^2 \right>$$t$

В большинстве теорем термодинамики требуется использовать , но проще вычислить и использовать . Эргодическая гипотеза - это гипотеза, утверждающая, что правильно заменить одну на другую. Эргодический процесс - это процесс, для которого эргодическая гипотеза верна. ⟨V2$\bar{V^2}$$\left< V^2 \right>$

Эргодическая гипотеза неверна в общем случае.

Для примера противоположного случая (т. Е. Случайного процесса, который является эргодическим, но не стационарным), рассмотрим процесс белого шума, амплитуда которого модулируется детерминированной прямоугольной волной. Среднее время каждой функции выборки равно нулю, как и среднее по ансамблю за все время. Так что процесс эргодичный. Однако дисперсия любой отдельной функции выборки показывает исходную зависимость прямоугольной волны от времени, поэтому процесс не является стационарным.

Этот конкретный пример является стационарным в широком смысле, но можно придумать связанные примеры, которые все еще эргодичны, но даже не являются стационарными в широком смысле.

как я понимаю, пример ниже показывает эргодический и стационарный процесс

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

среднее 2 2 2 вар 1

потому что среднее и дисперсия каждого столбца постоянна по времени, а среднее и дисперсия каждого ряда постоянна по времени