Вывод в линейной модели с условной гетероскедастичностью

Предположим, я наблюдаю векторы независимых переменных и и зависимую переменную . Я хотел бы соответствовать модели вида: где - некоторая положительнозначная дважды дифференцируемая функция, - неизвестный параметр масштабирования, а - гауссовская случайная переменная с нулевой средней (предполагается, что она не зависит от и ). По сути, это настройка теста гетероскедастичности Кенкера (по крайней мере, насколько я понимаю).$\vec{x}$$\vec{z}$$y$

$$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$$ $g$$\sigma$$\epsilon$$\vec{x}$$\vec{z}$

У меня есть наблюдений за и , и я хотел бы оценить и . У меня есть несколько проблем:$n$$\vec{x}, \vec{z}$$y$$\vec{\beta_1}$$\vec{\beta_2}$

1. Я не уверен, как изобразить проблему оценки как что-то вроде наименьших квадратов (я предполагаю, что есть известный трюк). Мое первое предположение было бы что-то вроде но я Я не уверен, как решить это численно (возможно, итерационный квазиньютоновский метод может сделать). $$min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$$
2. Предполагая, что я могу поставить проблему в здравом уме и найти некоторые оценки , я хотел бы знать распределение оценок, чтобы, например, я мог выполнять проверки гипотез. Я хотел бы проверить два вектора коэффициентов по отдельности, но предпочел бы какой-нибудь способ проверить, например, для заданного .$\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$$\vec{w_1}, \vec{w_2}, c$

В несколько более общем контексте с - мерного вектора -observations (ответов или зависимых переменных), матрица -observations (ковариат или зависимых переменных) и параметры такие, что тогда вероятность минус-логарифма равна В вопросе ОП диагонали с $Y$$n$$y$$X$$n \times p$$x$$\theta = (\beta_1, \beta_2, \sigma)$$Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

$$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$$ $\Sigma(\beta_2, \sigma)$ $$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$$ поэтому определителем становится и полученная вероятность минус-логарифмирования становится Существует несколько способов приблизиться к минимизации этой функции (при условии, что три параметра не зависят от изменения).$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$ $$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$$

• Вы можете попытаться минимизировать функцию с помощью стандартного алгоритма оптимизации, помня об ограничении .$\sigma > 0$
• Вы можете вычислить профиль минус логарифмическая вероятность , минимизировав значение over для фиксированного , а затем подключить полученную функцию к стандартному алгоритму оптимизации без ограничений.$(\beta_1, \beta_2)$$\sigma$$(\beta_1, \beta_2)$
• Вы можете переключаться между оптимизацией по каждому из трех параметров в отдельности. Оптимизация по может быть выполнена аналитически, оптимизация по - это проблема регрессии взвешенных наименьших квадратов, а оптимизация по эквивалентна подгонке линейной гамма-обобщенной модели с обратной связью .$\sigma$$\beta_1$$\beta_2$$g^2$

Последнее предложение мне нравится, потому что оно основано на решениях, которые я уже хорошо знаю. Кроме того, первая итерация - это то, что я хотел бы сделать в любом случае. То есть сначала вычислите начальную оценку помощью обычных наименьших квадратов, игнорируя потенциальную гетероскедастичность, а затем подгоните гамма-блеск к квадратным невязкам, чтобы получить первоначальную оценку просто чтобы проверить, кажется ли более сложной модель стоящей. Итерации, включающие гетероскедастичность в решение наименьших квадратов в качестве весов, могут затем улучшить оценку.$\beta_1$$\beta_2$ $-$

Что касается второй части вопроса, я, вероятно, рассмотрю возможность вычисления доверительного интервала для линейной комбинации либо с использованием стандартной асимптотики MLE (проверка с помощью симуляций, что асимптотика работает), либо с помощью начальной загрузки.$w_1^T\beta_1 + w_2^T\beta_2$

Редактировать: Под стандартной асимптотикой MLE я имею в виду использование многомерного нормального приближения к распределению MLE с ковариационной матрицей обратной информации Фишера. Информация Фишера по определению является ковариационной матрицей градиента . Это зависит в целом от параметров. Если вы можете найти аналитическое выражение для этой величины, вы можете попробовать подключить MLE. В качестве альтернативы вы можете оценить информацию Фишера по наблюдаемой информации Фишера, которая является гессианом в MLE. Ваш интересующий параметр представляет собой линейную комбинацию параметров в двух$l$$l$$\beta$-векторы, следовательно, из аппроксимирующей многомерной нормали MLE вы можете найти нормальную аппроксимацию распределения оценок, как описано здесь . Это дает вам приблизительную стандартную ошибку, и вы можете вычислить доверительные интервалы. Это хорошо описано во многих (математических) статистических книгах, но разумно доступная презентация, которую я могу порекомендовать, - это « По всей вероятности» Юди Павитан. Во всяком случае, формальный вывод асимптотической теории довольно сложен и опирается на ряд условий регулярности, и он дает только действительную асимптотикуРаспределения. Следовательно, если вы сомневаетесь, я всегда буду делать некоторые симуляции с новой моделью, чтобы проверить, могу ли я доверять результатам для реалистичных параметров и размеров выборки. Простая непараметрическая начальная загрузка, когда вы выбираете тройки из набора наблюдаемых данных с заменой, может быть полезной альтернативой, если процедура подгонки не требует слишком много времени.$(y_i,x_i,z_i)$