Почему случайные прогулки взаимосвязаны?

Я заметил, что в среднем абсолютное значение коэффициента корреляции Пирсона является константой, близкой к любой паре независимых случайных блужданий, независимо от длины блуждания.0.560.42

Может кто-нибудь объяснить это явление?

Я ожидал, что корреляции уменьшатся с увеличением длины прогулки, как и в любой случайной последовательности.

Для своих экспериментов я использовал случайные прогулки по Гауссу со средним шагом 0 и стандартным отклонением шага 1.

ОБНОВИТЬ:

Я забыл центрировать данные, поэтому 0.56вместо 0.42.

Вот скрипт Python для вычисления корреляций:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

Ваши независимые процессы не взаимосвязаны! Если и Y $X_t$$Y_t$ являются независимыми случайными блужданиями:

• Коэффициент корреляции безусловный по времени не существует. (Не говори о .)$\operatorname{Corr}(X, Y)$
• Для любого времени , Corr ( X t , Y $t$ , действительно 0.$\operatorname{Corr}(X_t, Y_t)$
• Но выборочная статистика на основе временных рядов средних , ни к чему не приведет! Выборочный коэффициент корреляции, который вы рассчитали на основе усреднения нескольких наблюдений по времени, не имеет смысла.

Интуитивно, вы можете догадаться (неправильно), что:

1. Независимость между двумя процессами и { Y t } подразумевает, что они имеют нулевую корреляцию. (Для двух случайных прогулок, Corr ( X , $\{X_t\}$$\{Y_t\}$ не существует.)$\operatorname{Corr}(X, Y)$
2. Временных рядов, образец корреляции ρ X Y (т.е. коэффициента корреляции , рассчитанного с использованием временных рядов, образцы , такие как статистические данные ^ μ Х = 1$\hat{\rho}_{XY}$) будет сходиться по коэффициенту корреляции населенностейρXYприT→$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$ .

Проблема в том, что ни одно из этих утверждений не верно для случайных прогулок! (Они верны для процессов с лучшим поведением.)

Для нестационарных процессов:

• Вы можете говорить о корреляции между процессами и { Y t } в любые два конкретных момента времени (например, Corr ( X 2 , Y 3 ) - совершенно разумное утверждение.)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• Но говорить о корреляции между двумя сериями безоговорочно по времени не имеет смысла! не имеет четко определенного значения.$\operatorname{Corr}(X, Y)$

Проблемы в случае случайной прогулки?

1. Для случайного блуждания не существует безусловных моментов населения (т.е. которые не зависят от времени ), таких как E [ X ] . (В некотором смысле они бесконечны.) Аналогично, коэффициент безусловной корреляции ρ X Y между двумя независимыми случайными блужданиями не равен нулю; это на самом деле не существует!$t$$\operatorname{E}[X]$$\rho_{XY}$
2. Допущения эргодических теорем не применяются и различные средние временные ряды (например, )несходится ни к чему приT→∞. $\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • Для стационарной последовательности среднее по временному ряду в конечном итоге будет сходиться к среднему значению, которое является безусловным по времени. Но для нестационарной последовательности, это не значит, что это безоговорочно по времени!

Если у вас есть различные наблюдения двух независимых случайных блужданий во времени (например, , X 2 и т. Д. И Y 1 , Y 2 , ....), и вы рассчитываете коэффициент корреляции выборки, вы получите число между - 1 и $X_1$$X_2$$Y_1$$Y_2$$-1$$1$ . Но это не будет приближением коэффициента корреляции населения (которого не существует).

Вместо (рассчитывается с использованием средних временных рядов от т = 1 до Т = Т ) собираются быть в основном случайным переменным (принимающие значения в [ - 1 , 1 ] ) , который отражает два конкретных пути случайные блуждания взяли случайно (то есть пути , определенные жеребьевкой со , взяты из выборки пространства $\hat{\rho}_{XY}(T)$$t=1$$t=T$$[-1, 1]$$\omega$$\Omega$ .) Говоря крайне свободно (и неточно):

• Если оба и Y $X_t$$Y_t$ случайно ушли в одном направлении, вы обнаружите ложные позитивные отношения.
• Если и Y t разошлись в разных направлениях, вы обнаружите ложные отрицательные отношения.$X_t$$Y_t$
• Если и Y t случайно встретились, вы обнаружите близкое к нулю отношение.$X_t$$Y_t$

Вы можете Google больше об этом с условиями spurious regression random walk.

Случайное блуждание не является стационарным, и взятие средних значений за время не сойдется с тем, что вы получили бы, если бы взяли iid-вытяжки ω из выборочного пространства Ω . Как упомянуто в комментариях выше, вы можете взять первые различия Δ x t = x t - x t - 1, и для случайного блуждания этот процесс { Δ x t } является стационарным.$t$$\omega$$\Omega$$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

Большая идея изображения:

Многократные наблюдения с течением времени НЕ совпадают с множественными отрисовками из пробного пространства!

Напомним, что стохастический процесс с дискретным временем является функцией как времени ( t ∈ N ), так и выборочного пространства $\{ X_t \}$$t \in \mathbb{N}$$\Omega$ .

Чтобы средние значения по времени сходились к ожиданиям в пространстве выборок Ω , вам необходимы стационарность и эргодичность$t$$\Omega$ . Это основная проблема в анализе многих временных рядов. И случайная прогулка не является стационарным процессом.

Подключение к ответу WHuber:

Если вы можете взять средние значения по нескольким симуляциям (т.е. взять несколько ничьих из ) вместо того, чтобы заставлять брать средние по времени $\Omega$$t$ , ряд ваших проблем исчезнет.

Вы можете, конечно , определить ρ X Y ( т ) как коэффициент корреляции выборки , вычисленной на X 1 ... X т и Y 1 ... Y т , и это будет также стохастический процесс.$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$$Y_1 \ldots Y_t$

Вы можете определить некоторую случайную величину как:$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

Для двух случайных блужданий, начинающихся с с N ( 0 , 1 ) приращениями, легко найти E [ Z 10000 ] с помощью симуляции (то есть взять несколько дро от $0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$ .)

Ниже я провел симуляцию 10000 расчетов выборочного коэффициента корреляции Пирсона. Каждый раз, когда я:

• Имитация двух случайных блужданий длиной 10000 (с нормально распределенными приращениями, взятыми из $\mathcal{N}(0,1)$ ).
• Рассчитан выборочный коэффициент корреляции между ними.

Ниже приведена гистограмма, показывающая эмпирическое распределение по 10000 рассчитанным коэффициентам корреляции.

Вы можете четко наблюдать , что случайная величина р X Y ( 10000 ) может быть повсюду в интервале [ - 1 , 1 ] . Для двух фиксированных путей X и Y$\hat{\rho}_{XY}(10000)$$[-1, 1]$$X$$Y$ выборочный коэффициент корреляции не сходится ни к чему, поскольку длина временного ряда увеличивается.

С другой стороны, для определенного времени (например. $t=10,000$ ), коэффициент корреляции выборки является случайной величиной с конечным средним и т.д. ... Если взять абсолютное значение и вычислить среднее по всему моделированию, Я рассчитываю примерно .42. Я не уверен, почему вы хотите сделать это или почему это вообще имеет значение ??, но, конечно, вы можете.

Код:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

Математика, необходимая для получения точного результата, является грязной, но мы можем вывести точное значение для ожидаемого квадрата коэффициента корреляции относительно безболезненно. Это помогает объяснить , почему значение около продолжает демонстрировать и почему увеличение длины п случайного блуждания не изменит вещи.$1/2$$n$

Существует вероятность путаницы в отношении стандартных условий. Абсолютная корреляция, о которой идет речь в этом вопросе, наряду со статистикой, составляющей его, - дисперсии и ковариации - являются формулами, которые можно применять к любой паре реализаций случайных блужданий. Вопрос касается того, что происходит, когда мы смотрим на многие независимые реализации. Для этого нам нужно принять ожидания в отношении процесса случайного блуждания.

---

(Редактировать)

Прежде чем мы продолжим, я хочу поделиться с вами некоторыми графическими соображениями. Пара независимых случайных блужданий - это случайное блуждание в двух измерениях. Мы можем построить путь, который идет от каждого ( X $(X,Y)$ до X t + 1 , Y t + 1 . Если этот путь стремится вниз (слева направо, нанесенный на обычные оси XY), тодля изучения абсолютного значения корреляциисведем на нет всезначения Y. Нарисуйте ходы по осям размером, чтобы дать X и$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$ значения равны стандартные отклонения и накладываться наименьших квадратов из Y к X . Наклоны этих линий будут абсолютными значениями коэффициентов корреляции, всегда лежащими между 0 и 1 .$Y$$Y$$X$$0$$1$

На этом рисунке показано таких прогулок, каждая длиной 960 (со стандартными нормальными отличиями). Маленькие открытые круги отмечают их отправные точки. Темные круги отмечают их последние места.$15$$960$

Эти склоны имеют тенденцию быть довольно большими. Совершенно случайные диаграммы рассеяния этого множества точек всегда будут иметь наклоны, очень близкие к нулю. Если бы нам пришлось описать паттерны, возникающие здесь, мы могли бы сказать, что большинство 2D случайных блужданий постепенно мигрируют из одного места в другое. (Однако это не обязательно их начальная и конечная точки!) Примерно в половине случаев такая миграция происходит в диагональном направлении - и наклон соответственно высок.

Остальная часть этого поста обрисовывает в общих чертах анализ этой ситуации.

---

Случайное блуждание является последовательностью частичных сумм ( $(X_i)$ где W i - независимые одинаково распределенные переменные с нулевым средним. Пусть их общая дисперсия равна σ 2 .$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

В реализации такого обхода «дисперсия» будет вычислена так, как если бы это был какой-либо набор данных:$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

Хороший способ вычислить это значение - взять половину среднего от всех квадратов разностей:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

Когда рассматривается как результат случайного блуждания X из n шагов, ожидание этого$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

Различия представляют собой суммы переменных iid,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

Расширяйте площадь и принимайте ожидания. Поскольку$W_k$$W_k$$\sigma^2$

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

Отсюда легко следует, что

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

$x$$y$

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

Следовательно, ожидание в квадрате$X$$Y$$n$

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

$9/40$$0.47$$\rho(n)$

---

$\rho^2(n)$$1000$В каждой из симуляций вертикальные красные линии показывают средние значения, а пунктирные синие линии показывают значение формулы. Ясно, что это неправильно, но асимптотически это правильно. Очевидно, все распределение$\rho^2(n)$ приближается к пределу как $n$увеличивается. Аналогичным образом, распределение$|\rho(n)|$ (что представляет собой количество процентов) приблизится к пределу.

Это Rкод для создания фигуры.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}