В чем разница между эргодическим и стационарным?

42

У меня проблемы с различением этих двух понятий. Это мое понимание до сих пор.

Стационарный процесс - это случайный процесс, статистические свойства которого не меняются со временем. Для стационарного процесса в строгом смысле это означает, что его совместное распределение вероятностей является постоянным; для стационарного процесса в широком смысле это означает, что его 1-й и 2-й моменты постоянны.

Эргодический процесс - это процесс, в котором его статистические свойства, такие как дисперсия, могут быть выведены из достаточно длинной выборки. Например, среднее значение выборки сходится к истинному среднему значению сигнала, если вы усредняете достаточно долго.

Теперь мне кажется, что сигнал должен быть стационарным, чтобы быть эргодическим.

  • А какие сигналы могут быть стационарными, а не эргодическими?
  • Например, если сигнал имеет одинаковую дисперсию за все время, как усредненная по времени дисперсия не может сходиться к истинному значению?
  • Итак, каково реальное различие между этими двумя понятиями?
  • Можете ли вы привести пример процесса, который является стационарным, не будучи эргодическим, или эргодическим, не будучи неподвижным?
Matt
источник
Возможно, вы захотите посмотреть на этот ответ на связанный вопрос.
Дилип Сарвате
Эта лекция буквально говорит о том, что эргодика является подмножеством стационарных. Я просто не могу понять, что статья по стационарному эргодическому процессу делает в Википедии? Значит ли это, что существует нестационарный эргодический процесс?
Val
@Val Я не буду защищать то, что говорит Википедия, но укажу, что последняя часть моего ответа ниже содержит пример процесса WSS, который не является стационарным и все же является эргодическим.
Дилип Сарват

Ответы:

34

Случайный процесс - это набор случайных величин, по одной на каждый рассматриваемый момент времени. Обычно это может быть непрерывное время ( ) или дискретное время (все целые числа или все моменты времени где - интервал выборки). <t<nnTT

  • Стационарность относится к распределению случайных величин. В частности, в стационарном процессе, все случайные переменные имеют ту же функцию распределения, а в более общем случае , для каждого положительного целого числа и моменты времени , то совместное распределение случайных величин совпадает с совместным распределением . То есть, если мы сместим все моменты времени на , статистическое описание процесса не изменится вообще: процесс является стационарнымnnt1,t2,,tn n X ( t 1 ) , X ( t 2 ) , , X ( t n ) X ( t 1 + τ ) , X ( t 2 + τ ) , , X ( t n + τ ) τnX(t1),X(t2),,X(tn)X(t1+τ),X(t2+τ),,X(tn+τ)τ,
  • Эргодичность, с другой стороны, рассматривает не статистические свойства случайных величин, а пути выборки , то есть то, что вы наблюдаете физически. Возвращаясь к случайным переменным, напомним, что случайные переменные являются отображениями из выборочного пространства в действительные числа; каждый результат отображается на действительное число, и разные случайные переменные обычно отображают любой данный результат на разные числа. Итак, представьте, что какое-то высшее существо в процессе эксперимента привело к результату в пространстве выборки, и этот результат был отображен на (обычно разные) действительные числа всеми случайными переменными в процессе: в частности, случайными переменная сопоставленаωX(t)ωк действительному числу мы будем обозначать как . В числе , рассматриваемое в качестве сигнала, является образец путем , соответствующий , а также различные результаты дадут нам различные пути образца. Эргодичность имеет дело со свойствами выборочных путей и тем, как эти свойства связаны со свойствами случайных величин, составляющих случайный процесс.x(t)x ( t ) ω x(t)ω

Теперь для образца пути из стационарного процесса мы можем вычислить среднее время но какое отношение имеет к , среднему значению случайного процесса? (Обратите внимание, что не имеет значения, какое значение мы используем; все случайные переменные имеют одинаковое распределение и поэтому имеют одинаковое среднее значение (если среднее существует)). Как говорит OP, среднее значение или постоянная составляющая пути пробы сходятся к среднему значению процесса, если путь пробы наблюдается достаточно долго, при условии, что процесс является эргодическимx(t)ˉ x = 1

x¯=12TTTx(t)dt
x¯μ=E[X(t)]t lim T ˉ x = lim T 1tи стационарные, и т. д. То есть эргодичность - это то, что позволяет нам связать результаты двух вычислений и утверждать, что равно Способ , для которых такого имеет место равенство называется средним-эргодичен , и процесс является средним-эргодическим , если его функция автоковариационной обладает свойством:
limTx¯=limT12TTTx(t)dt
μ = E [ X ( t ) ] = - u f X ( u )
μ=E[X(t)]=ufX(u)du.
CX(τ)
limT12TTTCX(τ)dτ=0.

Таким образом, не все стационарные процессы должны быть среднеэргодическими. Но есть и другие формы эргодичности. Например, для автоковариантно-эргодического процесса автоковариантная функция конечного сегмента (скажем, для выборочного пути сходится к автоковариантной функции процесса как . Общее утверждение о том, что процесс является эргодическим, может означать любую из различных форм или может означать конкретную форму;t(T,T)x(t)CX(τ)T

В качестве примера различия между этими двумя понятиями предположим, что для всех рассматриваемых . Здесь - случайная величина. Это является стационарным процессом: каждый имеет такое же распределение (а именно, распределение ), то же самое среднее , такая же дисперсия и т.д .; каждый и имеют одинаковое совместное распределение (хотя оно вырожденное) и так далее. Но этот процесс не является эргодическим, потому что каждый путь выборки является константой . В частности, если испытание эксперимента (выполненного вами или вышестоящим существом) приводит кX(t)=YtYX(t)YE[X(t)]=E[Y]X(t1)X(t2)Y имеет значение , то образец пути случайного процесса, который соответствует этому экспериментальному результату, имеет значение для всех , а значение DC пути образца составляет , а не , независимо от того, как долго вы наблюдаете (довольно скучный) образец пути. В параллельном юниверсе испытание приведет к а путь к образцу в этом юниверсе будет иметь значение для всех . Нелегко написать математические спецификации, чтобы исключить такие тривиальности из класса стационарных процессов, и поэтому это очень минимальный пример стационарного случайного процесса, который не является эргодическим.ααtαE[X(t)]=E[Y]Y=ββt

Может ли быть случайный процесс, который не является стационарным, но является эргодическим? Ну, N0 , нет, если под эргодикой мы подразумеваем эргодику всеми возможными способами: например, если мы измеряем долю времени, в течение которого длинный отрезок пути выборки имеет значение не более , это хорошая оценка , значения (общего) CDF для в если процесс соответствует быть эргодическим по отношению к функциям распределения. Но мы можем иметь случайные процессы, которыеx(t)αP(X(t)α)=FX(α)FXX(t)αне стационарные, но, тем не менее, средне- эргодические и автоковариантно- эргодические. Например, рассмотрим процесс где принимает четыре одинаково вероятных значения и . Обратите внимание, что каждый является дискретной случайной величиной, которая, как правило, принимает четыре одинаково вероятных значения и Легко видеть, что в общем случае и{X(t):X(t)=cos(t+Θ),<t<}Θ0,π/2,π3π/2X(t)cos(t),cos(t+π/2)=sin(t),cos(t+π)=cos(t)cos(t+3π/2)=sin(t)X(t)X(s)имеют разные распределения, и поэтому процесс даже не является стационарным первого порядка. С другой стороны, для каждого пока Короче говоря, процесс имеет нулевое среднее значение и его автокорреляции (и автоковариационная) функция зависит только от разницы во времени , и поэтому процесс является

E[X(t)]=14cos(t)+14(sin(t))+14(cos(t))+14sin(t)=0
t
E[X(t)X(s)]=14[cos(t)cos(s)+(cos(t))(cos(s))+sin(t)sin(s)+(sin(t))(sin(s))]=12[cos(t)cos(s)+sin(t)sin(s)]=12cos(ts).
tsширокий смысл стационарный. Но он не является стационарным первого порядка и поэтому не может быть стационарным для более высоких порядков. Теперь, когда эксперимент выполнен и значение известно, мы получаем функцию выборки, которая явно должна быть одной из и которые имеют значение DC равное и чья автокорреляционная функция , же, как , и поэтому этот процесс является среднеэргодическим и автокорреляционным-эргодическим, даже если он не является стационарным. В заключение отмечу, что процесс не является эргодическим по отношению к функции распределения.Θ±cos(t)±sin(t)0012cos(τ)RX(τ)то есть его нельзя назвать эргодическим во всех отношениях.

Дилип Сарватэ
источник
1
Я не мог понять пример. Если вы говорите, что Y является константой, то любой путь x (t) является константой. Среднее значение константы само по себе, поэтому E [X (t)] = E [Y] = Y. Если только я что-то не пропустил.
Рой
Я добавил несколько слов, чтобы уточнить смысл. является случайной величиной, а не константой. Его значение в любом испытании эксперимента не должно быть таким же, как . YE[Y]
Дилип Сарватэ
1
Если сигнал эргодический, то есть среднее время сходится к среднему по ансамблю, но различные имеют разные средства, потому что процесс не является стационарным, каково определение среднего по ансамблю, к которому сходится среднее по времени? X
Дилип Сарвате
1
@Matt В решении книги «Системы связи» Саймон Хайкин пишет, что «для того, чтобы случайный процесс был эргодическим, он должен быть стационарным»
Roney Island
1
@ColinHicks Да, это опечатка в моем ответе, которую я исправлю очень скоро. Спасибо, что обратили на это мое внимание.
Дилип Сарватэ
6

Давайте рассмотрим гипотетический случайный процесс, в котором функции выборки являются значениями постоянного тока и отличаются друг от друга:

X 1 (t) = константа = среднее значение X 1 (t)

X 2 (t) = постоянная = среднее значение X 2 (t)

Средние значения времени и постоянны, но не равны. если мой процесс является стационарным, и равны и RVs (см. ответ Дилипа)Х 2 ( т ) Х ( т 1 ) Х ( т 2 )X1(t)X2(t)X(t1)X(t2)

Таким образом, среднее по ансамблю является постоянным.X(t)

Это среднее ансамбля, конечно, не равно временному среднему для и (сами они не равны). Это можно назвать стационарным, но не эргодическим процессом.Х 2 ( т )X1(t)X2(t)

Напротив, где - RV, является эргодическим.θX(t)=Acos(ωt+θ)θ

Soumya
источник
2

Надеюсь, что это видео (из Технологического института Флориды под названием «Что такое стационарный, строгий смысл, эргодические сигналы» доктора Ивицы Костанич в своем классе теории связи) из 16:55 может очистить ваши сомнения

user8162
источник
Добро пожаловать в DSP.SE! Я бы посоветовал вам добавить имя и некоторые описания на видео, если оно когда-нибудь будет удалено и ссылка недействительна. Спасибо.
lennon310
1

Эргодический процесс - это процесс, для которого вы можете заменить эргодическое среднее временным средним.

Реальное среднее значение, дисперсия и т. Д. Определяются следующим образом: процесс по времени и усреднение и т. Д. Например, если вы хотите узнать среднее значение моего размера, вам придется усреднить его с момента моего рождения. когда я умру. Очевидно, что последний пример не является стационарным процессом.

Среднее эргодическое значение было бы, если бы вместо того, чтобы следить за моим размером с течением времени, вы бы заморозили время и взяли среднее значение для выборки разных людей. Нет никаких причин для того, чтобы эти два средства были одинаковыми, поэтому процесс моего размера не является эргодическим.

Это плохой пример, но он становится более важным, если вы рассматриваете простой случай газа в равновесии. Например, средняя квадратичная скорость отмечается как (среднее по времени), но часто рассчитывается путем взятия среднего по ансамблю : среднего квадратной скорости всех молекул газ в момент времени .V2тV2¯V2t

В большинстве теорем термодинамики требуется использовать , но проще вычислить и использовать . Эргодическая гипотеза - это гипотеза, утверждающая, что правильно заменить одну на другую. Эргодический процесс - это процесс, для которого эргодическая гипотеза верна.V2V2¯V2

Эргодическая гипотеза неверна в общем случае.

Жан-Ив
источник
1
Я не понимаю этот ответ. Процесс размера Джолова не является ни стационарным, ни эргодическим, тогда как ОП интересовался, может ли быть стационарный процесс, который не является эргодическим. Является ли, по сути, ответом, что в целом эргодическая гипотеза ложна и универсально верно (что-то вроде), что среднее значение выборки отличается от среднего значения ансамбля, просто привыкните к нему и живите с ним?
Дилип Сарвате
@DilipSarwate: после перечитывания, это плохой ответ, который не отвечает на вопрос, и я рассматриваю возможность его удаления. Я напоминал свои лекции по термодинамике, тогда как вопрос был больше о статистике ...
Жан-Ив
@DilipSarwate, каков размер Джолоу?
Roney Island
1
@MichaelCorleone Я не помню, что означает ссылка на Jolow. Я предполагаю, что Жан-Ив опубликовал свой ответ под псевдонимом Джолоу, и я использовал это имя в своем ответе, и что с тех пор он решил использовать Жан-Ива в качестве своего имени пользователя на stackexchange. Такие изменения имени отражаются на том, что отображается на экране, но не записываются как редактирование ответа.
Дилип Сарвейт
@DilipSarwate: вы действительно правы. Jolow это просто мой ник.
Жан-Ив
1

Для примера противоположного случая (т. Е. Случайного процесса, который является эргодическим, но не стационарным), рассмотрим процесс белого шума, амплитуда которого модулируется детерминированной прямоугольной волной. Среднее время каждой функции выборки равно нулю, как и среднее по ансамблю за все время. Так что процесс эргодичный. Однако дисперсия любой отдельной функции выборки показывает исходную зависимость прямоугольной волны от времени, поэтому процесс не является стационарным.

Этот конкретный пример является стационарным в широком смысле, но можно придумать связанные примеры, которые все еще эргодичны, но даже не являются стационарными в широком смысле.

Проф Марк
источник
0

как я понимаю, пример ниже показывает эргодический и стационарный процесс

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

среднее 2 2 2 вар 1

потому что среднее и дисперсия каждого столбца постоянна по времени, а среднее и дисперсия каждого ряда постоянна по времени

TPArrow
источник