22

В первом предложении этой вики- страницы утверждается, что «В эконометрике возникает проблема эндогенности, когда объясняющая переменная соотносится с ошибочным термином. 1 »

Мой вопрос в том, как это может произойти? Разве бета-версия регрессии не выбрана такой, что член ошибки ортогонален пространству столбцов матрицы проекта?

regression обитатель севера
источник

9

Бета-регрессия выбрана так, чтобы остаток был ортогональным пространству столбцов матрицы проекта. И это может дать ужасную оценку истинной бета-версии, если член ошибки не ортогонален пространству столбцов матрицы проекта! (т.е. если ваша модель не удовлетворяет предположениям, необходимым для последовательной оценки коэффициентов по регрессии).

Мэтью Ганн

3

Ортогональность члена ошибки и пространства столбцов матрицы проекта не является свойством вашего метода оценки (например, регрессия обычных наименьших квадратов), это свойство модели (например,

y_{i} = a + b x_{i} + ϵ_{i}

$y_i = a + b x_i + \epsilon_i$ ).

Мэтью Ганн

Я думаю, что ваше редактирование должно быть новым вопросом, потому что вы, кажется, существенно изменили то, что вы просите. Вы всегда можете вернуться к этому. (Я думаю , что вам нужно слово лучше, тоже - когда ты пишешь «что бы эффект будет» , то я не ясно , о влиянии того , что ?) Обратите внимание , что задать новый вопрос в целом производит больше внимания , которое было бы выгодно для вас за редактирование существующего.

Серебряная

28

Вы объединяете два типа термина «ошибка». В Википедии на самом деле есть статья, посвященная этому различию между ошибками и остатками .

В МНК регрессии, остатки (ваши оценки погрешности или термина $\hat \varepsilon$ действительно гарантированно быть коррелируют с предикторов, предполагая , что регресс содержит свободный член.

Но «истинные» ошибки $\varepsilon$ вполне могут коррелировать с ними, и это то, что считается эндогенностью.

Для простоты рассмотрим модель регрессии (вы можете увидеть, что это описывается как базовый « процесс генерации данных » или «DGP», теоретическая модель, которую мы предполагаем для генерации значения ): $y$

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

В принципе, нет причин, почему не может быть соотнесен с в нашей модели, однако мы бы предпочли, чтобы таким образом не нарушались стандартные допущения OLS. Например, может случиться так, что зависит от другой переменной, которая была опущена в нашей модели, и это было включено в термин возмущения ( - это то, где мы объединяем все вещи, кроме которые влияют на ). Если эта пропущенная переменная также коррелирует с , то , в свою очередь, будет коррелироваться с и мы имеем эндогенность (в частности, смещение опущенной переменной ). $x$ $\varepsilon$ $y$ $\varepsilon$ $x$ $y$ $x$ $\varepsilon$ $x$

Когда вы оцениваете свою регрессионную модель по имеющимся данным, мы получаем

y_{i} = {\hat{β}}_{1} + {\hat{β}}_{2} x_{i} + {\hat{ε}}_{i}

$y_i = \hat \beta_1 + \hat \beta_2 x_i + \hat \varepsilon_i$

Из-за способа МНК работы *, остатки будет коррелируют с . Но это не значит , что мы избежали эндогенность - это просто означает , что мы не можем обнаружить его путем анализа корреляции между и , что будет (до численной ошибки) равна нулю. И поскольку допущения OLS были нарушены, нам больше не гарантированы хорошие свойства, такие как беспристрастность, нам так нравится OLS. Наша оценка будет смещена. $\hat \varepsilon$ $x$ $\hat \varepsilon$ $x$ $\hat \beta_2$

Тот фактчто некоррелирован с вытекает непосредственно из «нормальных уравнений»мы используемчтобы выбрать наилучшие оценки коэффициентов. $(*)$ $\hat \varepsilon$ $x$

Если вы не привыкли к настройке матрицы, и я придерживаюсь двумерной модели, использованной в моем примере выше, то сумма квадратов невязок равна и найти оптимальное и $S(b_1, b_2) = \sum_{i=1}^n \varepsilon_i^2 = \sum_{i=1}^n (y_i-b_1 - b_2 x_i)^2$ $b_1 = \hat \beta_1$ которые минимизируют это, мы находим нормальные уравнения, во-первых, условие первого порядка для предполагаемого пересечения: $b_2 = \hat \beta_2$

\frac{\partial S}{\partial b_{1}} = \sum_{i = 1}^{n} - 2 (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_1} = \sum_{i=1}^n -2(y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n \hat \varepsilon_i = 0$

который показывает , что сумма (и , следовательно , среднее) из остатков равна нулю, поэтому формула для ковариации между и любой переменной сводится к $\hat \varepsilon$ $x$ . Мы видим, что это ноль, учитывая условие первого порядка для предполагаемого наклона, который заключается в том, что $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$

\frac{\partial S}{\partial b_{2}} = \sum_{i = 1}^{n} - 2 x_{i} (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} x_{i} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_2} = \sum_{i=1}^n -2 x_i (y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n x_i \hat \varepsilon_i = 0$

Если вы привыкли работать с матрицами, мы можем обобщить это на множественную регрессию, определив ; условие первого порядка , чтобы минимизировать при оптимальной является: $S(b) = \varepsilon' \varepsilon = (y-Xb)'(y-Xb)$ $S(b)$ $b = \hat \beta$

\frac{d S}{d b} (\hat{β}) = \frac{d}{d b} (y^{'} y - b^{'} X^{'} y - y^{'} X b + b^{'} X^{'} X b) |_{b = \hat{β}} = - 2 X^{'} y + 2 X^{'} X \hat{β} = - 2 X^{'} (y - X \hat{β}) = - 2 X^{'} \hat{ε} = 0

$\frac{dS}{db}(\hat\beta) = \frac{d}{db}\bigg(y'y - b'X'y - y'Xb + b'X'Xb\bigg)\bigg|_{b=\hat\beta} = -2X'y + 2X'X\hat\beta = -2X'(y - X\hat\beta) = -2X'\hat \varepsilon = 0$

Это подразумевает каждую строку , и , следовательно , каждый столбец , ортогонально к . Тогда , если матрица плана имеет столбец из единиц (что происходит , если ваша модель имеет свободный член), мы должны иметь , так что остатки имеют нулевую сумму и нулевое среднее значение. Ковариация между и любой переменной снова $X'$ $X$ $\hat \varepsilon$ $X$ $\sum_{i=1}^n \hat \varepsilon_i = 0$ $\hat \varepsilon$ $x$ $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$ and for any variable $x$ included in our model we know this sum is zero, because $\hat \varepsilon$ is orthogonal to every column of the design matrix. Hence there is zero covariance, and zero correlation, between $\hat \varepsilon$ and any predictor variable $x$ .

Если вы предпочитаете более геометрический взгляд на вещи , наше желание , что лежит как можно ближе к в пифагорейской виде пути , и тот факт , что ограничена в пространстве столбцов матрицы плана , диктуют должна быть ортогональная проекция наблюдаемого на это пространство столбца. Следовательно, вектор остатков ортогонален каждого столбец , в том числе вектора единиц $\hat y$ $y$ $\hat y$ $X$ $\hat y$ $y$ $\hat \varepsilon = y - \hat y$ $X$ $\mathbf{1_n}$ если термин перехвата включен в модель. Как и прежде, это подразумевает, что сумма остатков равна нулю, откуда ортогональность остаточного вектора с другими столбцами гарантирует, что он не связан с каждым из этих предикторов. $X$

Vectors in subject space of multiple regression

Но ничто из того, что мы здесь сделали, ничего не говорит об истинных ошибках . Предполагая , что существует термин перехватывает в нашей модели, остатки только коррелирует с как математическим следствием того , каким образом мы выбрали для оценки коэффициентов регрессии . Путь мы выбрали нашу ; влияет на наши прогнозные значения и , следовательно , наши остатки . Если мы выберем с помощью МНК, мы должны решить нормальные уравнения и их соблюдение , что наши оцененные невязки $\varepsilon$ $\hat \varepsilon$ $x$ $\hat \beta$ $\hat \beta$ $\hat y$ $\hat \varepsilon = y - \hat y$ $\hat \beta$ $\hat \varepsilon$ are uncorrelated with $x$ . Our choice of $\hat \beta$ affects $\hat y$ but not $\mathbb{E}(y)$ and hence imposes no conditions on the true errors $\varepsilon = y - \mathbb{E}(y)$ . It would be a mistake to think that $\hat \varepsilon$ has somehow "inherited" its uncorrelatedness with $x$ from the OLS assumption that $\varepsilon$ should be uncorrelated with $x$ . The uncorrelatedness arises from the normal equations.

Silverfish
источник

1

does your

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$ mean regression using population data? Or what does it mean precisely?

denizen of the north

@user1559897 Yes, some textbooks will call this the "population regression line" or PRL. It's the underlying theoretical model for the population; you may also see this called the "data generating process" in some sources. (I tend to be a bit careful about saying it is the "regression on the population"... if you have a finite population, e.g. 50 states of the USA, that you perform the regression on, then this isn't quite true. If you are actually running a population on some data in your software, you are really talking about the estimated version of the regression, with the "hats")

Silverfish

I think i see what you are saying. If i understand you correctly, the error term in the model

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$ could have non-zero expectation as well because it is a theoretical generating process, not a ols regression.

denizen of the north

This is a great answer from statistical inference perspective. What do you think the effect would be if prediction accuracy is the primary concern? See the edit of the post.

denizen of the north

16

Simple example:

Let $x_{i,1}$ be the number of burgers I buy on visit $i$
Let $x_{i,2}$ be the number of buns I buy.
Let $b_1$ be the price of a burger
Let $b_2$ be the price of a bun.
Independent of my burger and bun purchases, let me spend a random amount $a + \epsilon_i$ where $a$ is a scalar and $\epsilon_i$ is a mean zero random variable. We have $\operatorname{E}[\epsilon_i | X] = 0$ .
Let $y_i$ be my spending on a trip to the grocery store.

The data generating process is:

y_{i} = a + b_{1} x_{i, 1} + b_{2} x_{i, 2} + ϵ_{i}

$y_i = a + b_1x_{i,1} + b_2x_{i,2} + \epsilon_i$

If we ran that regression, we would get estimates $\hat{a}$ , $\hat{b}_1$ , and $\hat{b}_2$ , and with enough data, they would converge on $a$ , $b_1$ , and $b_2$ respectively.

(Technical note: We need a little randomness so we don't buy exactly one bun for each burger we buy at every visit to the grocery store. If we did this, $x_1$ and $x_2$ would be collinear.)

An example of omitted variable bias:

Now let's consider the model:

y_{i} = a + b_{1} x_{i, 1} + u_{i}

$y_i = a + b_1x_{i,1} + u_i$

Observe that $u_i = b_2x_{i,2} + \epsilon_i$ . Hence

\begin{aligned} Cov (x_{1}, u) & = Cov (x_{1}, b_{2} x_{2} + ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) + Cov (x_{1}, ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) \end{aligned}

$\begin{align*} \operatorname{Cov}(x_{1}, u) &= \operatorname{Cov}(x_1,b_2x_2 + \epsilon )\\ &= b_2 \operatorname{Cov}(x_{1},x_2) + \operatorname{Cov}(x_{1},\epsilon) \\ &= b_2 \operatorname{Cov}(x_{1},x_2) \end{align*}$

Is this zero? Almost certainly not! The purchase of burgers $x_1$ and the purchase of buns $x_2$ are almost certainly correlated! Hence $u$ and $x_1$ are correlated!

What happens if you tried to run the regression?

If you tried to run:

y_{i} = \hat{a} + {\hat{b}}_{1} x_{i, 1} + {\hat{u}}_{i}

$y_i = \hat{a} + \hat{b}_1 x_{i,1} + \hat{u}_i$

Your estimate $\hat{b}_1$ would almost certainly be a poor estimate of $b_1$ because the OLS regression estimates $\hat{a}, \hat{b}, \hat{u}$ would be constructed so that $\hat{u}$ and $x_1$ are uncorrelated in your sample. But the actual $u$ is correlated with $x_1$ in the population!

What would happen in practice if you did this? Your estimate $\hat{b}_1$ of the price of burgers would ALSO pickup the price of buns. Let's say every time you bought a $1 burger you tended to buy a $0.50 bun (but not all the time). Your estimate of the price of burgers might be $1.40. You'd be picking up the burger channel and the bun channel in your estimate of the burger price.

Matthew Gunn
источник

I like your burger bun example. You explained the problem from the perspective of statistical inference, ie inferring the effect of burger on price. Just wondering what the effect would be if all I care about is prediction, i.e prediction MSE on a test dataset? The intuition is that it is not going to be as good, but is there any theory to make it more precise? (this introduced more bias, but less variance, so the overall effect is not apparent to me. )

denizen of the north

1

@user1559897 If you just care about predicting spending, then predicting spending using the number of burgers and estimating

{\hat{b}}_{1}

$\hat{b}_1$ as around $1.40 might work pretty well. If you have enough data, using the number of burgers and buns would undoubtedly work better. In short samples,

L_{1}

$L_1$ regularlization (LASSO) might send one of the coefficients

b_{1}

$b_1$ or

b_{2}

$b_2$ to zero. I think you're correctly recognizing that what you're doing in regression is estimating a conditional expectation function. My point is for that that function to capture causal effects, you need additional assumptions.

Matthew Gunn

3

Предположим, что мы строим регрессию веса животного на его рост. Ясно, что вес дельфина будет измеряться по-разному (в другой процедуре и с использованием разных инструментов) от веса слона или змеи. Это означает, что ошибки модели будут зависеть от высоты, то есть объясняющей переменной. Они могут зависеть по-разному. Например, может быть, мы склонны немного переоценивать вес слонов и немного недооценивать змеи и т. Д.

Итак, здесь мы установили, что легко оказаться в ситуации, когда ошибки соотносятся с объясняющими переменными. Теперь, если мы будем игнорировать это и перейти к регрессии , как обычно, мы заметим , что регрессионные остатки являются не коррелируют с дизайном матрицы. Это связано с тем, что по своей конструкции регрессия заставляет невязки быть некоррелированными. Отметим также , что остатки являются не эти ошибки , они по оценкамошибок. Таким образом, независимо от того, коррелируют ли сами ошибки или нет с независимыми переменными, оценки ошибок (невязки) не будут коррелироваться при построении решения уравнения регрессии.

Аксакал
источник

Как термин ошибки регрессии может быть когда-либо соотнесен с объясняющими переменными?

Ответы:

Simple example:

An example of omitted variable bias:

What happens if you tried to run the regression?