Перевод проблемы машинного обучения в регрессионную структуру

Предположим, у меня есть панель объясняющих переменных , для i = 1 . , , N , t = 1 . , , Т , а также вектор двоичных результатов зависимых переменных У я Т . Таким образом, Y наблюдается только в последний момент времени T, а не в любое более раннее время. Полностью общий случай состоит в том, чтобы иметь несколько X i j t для j = 1 ... K для каждой единицы i в каждый момент времени $X_{it}$$i = 1 ... N$$t = 1 ... T$$Y_{iT}$$Y$$T$$X_{ijt}$$j=1...K$$i$$t$, но давайте сосредоточимся на случае для краткости.$K=1$

Применения таких «несбалансированных» пар с временными коррелированными объяснительными переменными, например, (ежедневные цены на акции, ежеквартальные дивиденды), (ежедневные отчеты о погоде, годовые ураганы) или (особенности шахматной позиции после каждого хода, результат выигрыша / проигрыша на конец игры).$(X, Y)$

Я заинтересован в (возможно нелинейном) регрессии коэффициенты для этого предсказания в Y я т , зная , что в обучающих данных, учитывая ранние наблюдения Х я т для т < Т , то это приводит к окончательному результату Y я $\beta_t$$Y_{it}$$X_{it}$$t < T$$Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

Исходя из эконометрического фона, я не видел большого регрессионного моделирования, применяемого к таким данным. OTOH, я видел следующие методы машинного обучения, применяемые к таким данным:

1. проводить контролируемое обучение на всем наборе данных, например, минимизировать

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

просто экстраполируя / вменяя наблюдаемый во все предыдущие моменты времени$Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

Это кажется «неправильным», потому что оно не будет учитывать временную корреляцию между различными моментами времени.

2. делая подкрепление обучения , такие как временная разница с-обучение параметра ; и дисконтный параметр Л , и рекурсивно решения для беты т через обратное распространение , начиная с т = $\alpha$$\lambda$$\beta_t$$t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

с является градиент F ( ) по отношению к р .$\nabla_{\beta} \hat{Y}$$f()$$\beta$

Это кажется более «правильным», поскольку учитывает временную структуру, но параметры и λ являются своего рода «специальными».$\alpha$$\lambda$

Вопрос : есть ли литература о том, как отобразить вышеприведенные методы обучения под наблюдением / подкреплением в регрессионную структуру, используемую в классической статистике / эконометрике? В частности, я хотел бы иметь возможность оценивать параметры за один раз (то есть для всех t = 1 ... T одновременно), выполняя (нелинейные) наименьшие квадраты или максимальное правдоподобие для таких моделей в качестве$\beta_{t}$$t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

Мне также было бы интересно узнать, могут ли временные различия обучения мета-параметров и λ быть восстановлены из формулировки максимального правдоподобия.$\alpha$$\lambda$

Описание проблемы мне не совсем понятно, поэтому я пытаюсь угадать некоторые предположения. Если это не ответит на ваш вопрос, это может, по крайней мере, помочь прояснить проблемы дальше.

Первое, что мне не понятно, это данные, на которых вы хотите основать свой прогноз. Если вы хотите предсказать на основе наблюдаемых данных, пока t < T, то рекурсивный подход, как в вашем методе 2., не имеет смысла, поскольку при этом будут использоваться будущие данные, то есть X τ с τ > t .$Y_T$$t<T$$X_\tau$$\tau>t$

$Y_t$$X_1,\ldots, X_t$$t<T$$Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$$Y_T$

$X_1, \ldots, X_t$$t$

$t<T$

$\alpha$
$\gamma$$\gamma=1$