Линейная регрессия: есть ли ненормальное распределение, дающее идентичность OLS и MLE?

Этот вопрос вдохновлен долгим обсуждением в комментариях здесь: Как линейная регрессия использует нормальное распределение?

В обычной модели линейной регрессии для простоты здесь написано только с одним предиктором:

$$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ где $x_i$ - известные константы, а $\epsilon_i$ - члены с независимой ошибкой с нулевым средним. Если дополнительно допустить нормальное распределение ошибок, то обычные оценки наименьших квадратов и оценки максимального правдоподобия $\beta_0, \beta_1$ идентичны.

Поэтому мой простой вопрос: существует ли какое-либо другое распределение для членов ошибки, такое, что mle совпадает с обычным оценщиком наименьших квадратов? Одно следствие легко показать, другое нет.

При оценке максимального правдоподобия мы рассчитываем

$$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$$

последнее соотношение с учетом линейной структуры уравнения регрессии.

Для сравнения, оценка МНК удовлетворяет

$$\sum \epsilon_i\mathbf x_i = \mathbf 0$$

Чтобы получить идентичные алгебраические выражения для коэффициентов наклона, нам нужно иметь плотность для члена ошибки, такую, чтобы

$$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$$

Это дифференциальные уравнения вида которых есть решения$y' = \pm\; xy$

$$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$$

$$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$$

Любая функция, которая имеет это ядро ​​и интегрируется в единицу по соответствующей области, сделает MLE и OLS для коэффициентов наклона идентичными. А именно мы ищем

$$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$$

Существует ли такой который не является нормальной плотностью (или полунормальной, или производной функции ошибки)? $g$

Конечно. Но еще одна вещь, которую нужно учитывать, заключается в следующем: если использовать показатель плюс в показателе степени и симметричную опору, например, около нуля, получится плотность, которая имеет уникальный минимум в середине, и два локальных максимума при Границы поддержки.

$$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $f(y|x,\beta_0,\beta_1)$ $$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$$ are acceptable since the factor $f_0(y|x)$ does not depend on the parameter $(\beta_0,\beta_1)$. There is therefore an infinity of such distributions.

Another setting where both estimators coincide is when the data comes from a spherically symmetric distribution, namely when the (vector) data $\mathbf{y}$ has conditional density

$$h(||\mathbf{y}-\mathbf{X}\beta||)$$ with $h(\cdot)$ a decreasing function. (In this case the OLS is still available although the assumption of the independence of the $\epsilon_i$'s only holds in the Normal case.)

I didn't know about this question until @Xi'an just updated with an answer. There is a more generic solution. Exponential family distributions with some parameters fixed yield to Bregman divergences. For such distributions mean is the minimizer. OLS minimizer is also the mean. Therefore for all such distributions they should coincide when the linear functional is linked to the mean parameter.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf