Статистический вывод при неправильной спецификации модели

У меня есть общий методологический вопрос. Возможно, ответили раньше, но я не могу найти соответствующую ветку. Я буду признателен за указатели на возможные дубликаты.

( Вот превосходный, но без ответа. Это также похоже по духу, даже с ответом, но последний слишком конкретен с моей точки зрения. Это также близко, обнаружено после публикации вопроса.)

Тема в том, как сделать достоверный статистический вывод, когда модель, сформулированная до просмотра данных, не может адекватно описать процесс генерирования данных . Вопрос очень общий, но я приведу конкретный пример, чтобы проиллюстрировать это. Тем не менее, я ожидаю, что ответы сосредоточатся на общем методологическом вопросе, а не придираются к деталям конкретного примера.

Рассмотрим конкретный пример: в настройке временного ряда я предполагаю, что процесс генерации данных будет с . Я хочу проверить предметную гипотезу о том, что . Я привел это в терминах модели чтобы получить работоспособный статистический аналог моей предметной гипотезы, а это Все идет нормально. Но когда я наблюдаю за данными, я обнаруживаю, что модель не адекватно описывает данные. Допустим, существует линейный тренд, поэтому настоящий процесс генерации данных имеет вид с

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ ,

Как я могу сделать достоверный статистический вывод по моей предметной гипотезе ? $\frac{dy}{dx}=1$

Если я использую исходную модель, ее допущения нарушаются, и оценка не имеет хорошего распределения, как в противном случае. Поэтому я не могу проверить гипотезу с помощью теста. $\beta_1$ $t$
Если, просмотрев данные, я переключаюсь с модели на и меняю свою статистическую гипотезу с на , предположения модели выполняются, и я получить корректную оценку и без труда протестировать с помощью критерия. Однако переключение с на $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ сообщается с набором данных, на котором я хочу проверить гипотезу. Это делает распределение оценки (и, следовательно, также вывод) обусловленным изменением базовой модели, которое обусловлено наблюдаемыми данными. Понятно, что введение такого кондиционирования не является удовлетворительным.

Есть ли хороший выход? (Если не частый, то, может быть, какая-то байесовская альтернатива?)

modeling inference misspecification Ричард Харди
источник

Ваш дискомфорт свойственен классическим подходам к награждению докторов наук: тщательная спецификация гипотез, сопровождаемая эмпирическим тестом и заканчивающаяся дескриптивным причинным следствием. В этом мире короткий ответ: «Нет», выхода нет. Однако мир развивается от этой строгой парадигмы. Например, в статье, опубликованной в прошлом году в AER под названием « Проблемы политики прогнозирования » Кляйнберга и др., Они приводят аргументы в пользу интеллектуального анализа данных и прогнозирования в качестве полезных инструментов при разработке экономической политики, ссылаясь на случаи, когда «причинно-следственная связь не является центральной или даже нужно." Это стоит посмотреть.

Майк Хантер

На мой взгляд, прямой ответ должен быть: выхода нет. В противном случае вы были бы виновны в худшем виде извлечения данных - пересмотре гипотез, чтобы соответствовать данным - серьезное нарушение в строгом, парадигматическом мире.

Майк Хантер

Если я правильно понимаю, вы собираете данные, затем выбираете модель и затем проверяете гипотезы. Я могу ошибаться, но мне кажется, что парадигма выборочного вывода, исследованная Тейлором и Тибширани (среди прочих), может быть связана с вашей проблемой. В противном случае комментарии, ответы и связанные ответы на этот вопрос могут представлять интерес.

DeltaIV

@DeltaIV, то есть, когда делает вывод, я не заинтересован в наименее ложных параметров , как при P-последовательности, а я заинтересован в истинных них (истинная частная производная WRT ).

y

$y$

x

$x$

Ричард Харди

@RichardHardy, конечно, несмотря на то, что я аспирант, я больше не верю в умозаключения. Это карточный домик, настолько хрупкий, что неясно, имеет ли он смысл вообще, за исключением очень строгих и контролируемых обстоятельств. Что смешно, так это то, что все это знают, но никого (ну) не волнует.

Хейсеб

Ответы:

Выход буквально из выборочного теста, верный. Не тот, в котором вы разбиваете выборку на тренировку и выдерживаете, как в перекрестной проверке, но истинный прогноз. Это очень хорошо работает в естественных науках. На самом деле это единственный способ, которым это работает. Вы строите теорию на каких-то данных, и от вас ожидают, что вы спрогнозируете что-то, что еще не наблюдалось. Очевидно, что это не работает в большинстве социальных (так называемых) наук, таких как экономика.

В промышленности это работает как в науке. Например, если торговый алгоритм не работает, вы в конечном итоге потеряете деньги, а затем откажетесь от них. Перекрестная проверка и обучающие наборы данных широко используются при разработке и принятии решения о развертывании алгоритма, но после того, как он будет запущен в производство, речь идет о зарабатывании или проигрыше. Очень простой тестовый образец.

Аксакал
источник

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

@RichardHardy, да, вы проверяете ту же гипотезу на новых данных. Если это так, то ты в порядке. Если ваша модель неправильно указана, то в конечном итоге она может потерпеть неудачу, я имею в виду и другую диагностику. Вы должны увидеть, что модель не работает с новыми данными.

Аксакал

Хорошо, тогда это звучит как старый добрый рецепт разбиения выборки на подвыборку для построения модели и другую для проверки гипотез. Я должен был включить это соображение уже в ФП. В любом случае, это похоже на разумную стратегию. Например, проблема с макроэкономикой заключается в том, что одна и та же модель почти никогда не будет соответствовать невидимым данным (так как процесс генерирования данных меняется со временем), поэтому та же самая проблема, с которой мы начинаем, сохранится. Но это пример, когда в основном любой метод дает сбой, поэтому это не справедливая критика.

Ричард Харди

Между тем, в микроэкономике в области сечения данных это может сработать. +1 сейчас. С другой стороны, как только модель будет адаптирована ко всем доступным данным, это решение не будет работать. Я думаю, это то, о чем я думал, когда писал вопрос, и я ищу ответы, которые касаются заглавного вопроса: вывод из неправильно определенной модели.

Ричард Харди

Я сочувствую вашей точке зрения. Но поскольку разбиение выборки на «старые» и «новые» эквивалентно сбору новых данных, я не понимаю, где вы видите большую разницу между ними.

Ричард Харди

Вы можете определить «комбинированную процедуру» и исследовать ее характеристики. Допустим, вы начинаете с простой модели и допускаете подгонку одной, двух или трех более сложных (или непараметрических) моделей на случай, если простая модель не подходит. Вам необходимо указать формальное правило, в соответствии с которым вы решаете не соответствовать простой модели, а одной из других (и какой). Вам также необходимо иметь тесты для вашей интересующей гипотезы, которые будут применяться во всех задействованных моделях (параметрической или непараметрической).

С такой установкой вы можете смоделировать характеристики, т. Е. С каким процентом ваша нулевая гипотеза будет окончательно отвергнута, если она верна, и в случае нескольких отклонений интереса. Кроме того, вы можете моделировать из всех задействованных моделей и смотреть на такие вещи, как условный уровень и условная мощность, учитывая, что данные поступили из модели X, Y или Z, или учитывая, что в процедуре испытания на неправильную спецификацию модели выбрана модель X, Y или Z.

Вы можете обнаружить, что выбор модели не приносит большого вреда в том смысле, что достигнутый уровень все еще очень близок к уровню, после которого вы были, и мощность в порядке, если не отличная. Или вы можете обнаружить, что выбор модели, зависящей от данных, действительно все портит; это будет зависеть от деталей (если процедура выбора вашей модели очень надежна, шансы на уровне, и мощность не будет сильно зависеть).

Теперь это совсем не то же самое, что указать одну модель, а затем посмотреть на данные и принять решение «о, мне нужна другая», но это, вероятно, настолько близко, насколько вы можете исследовать, каковы будут характеристики такого подхода. Это не тривиально, потому что вам нужно сделать несколько вариантов, чтобы все заработало.

Общее замечание: я думаю, что вводить в заблуждение статистическую методологию в двоичном виде на «действительный» и «недействительный» неверно. Ничто не является действительным на 100%, потому что модельные допущения никогда не выполняются точно на практике. С другой стороны, хотя вы можете найти действительные (!) Причины для того, чтобы называть что-то «недействительным», если подробно исследовать характеристики предположительно неверного подхода, можно обнаружить, что он все еще работает довольно хорошо.

Lewian
источник

Интересно, реально ли это на практике, кроме самых простых проблем? Вычислительные затраты на моделирование быстро превысят наши возможности в большинстве случаев, не так ли? Ваш комментарий о валидности, конечно, логичен. Однако без этого простого, но полезного (помогающего нам рассуждения) понятия мы были бы еще более потеряны, чем с ним, - это моя точка зрения.

Ричард Харди

Я не говорю, что это следует делать каждый раз, когда такая ситуация встречается на практике. Это скорее исследовательский проект; однако одно сообщение о том, что, по моему мнению, по указанным причинам выбор модели, зависящей от данных, не делает недействительным вывод, который в противном случае был бы действительным. Такие комбинированные процедуры могут работать довольно хорошо во многих ситуациях, хотя в настоящее время это должным образом не исследовано.

Левиан,

Я думаю, если бы это было выполнимо, оно уже использовалось бы. Основной проблемой может быть невозможность из-за большого количества вариантов моделирования, которые зависят от данных (к моему первому комментарию). Или вы не видите там проблемы?

Ричард Харди

В литературе есть странное моделирование, которое сначала исследует выбор / определение модели неправильной спецификации, а затем параметрический вывод, обусловленный исходом этого. Результаты смешаны, насколько я знаю. «Классический» пример здесь: tandfonline.com/doi/abs/10.1080/…

Левиан

Но ты прав; моделирование всего процесса с использованием всевозможных вариантов моделирования потребовало бы большого выбора. Я все еще думаю, что это был бы полезный проект, хотя он не мог бы потребоваться, когда модели выбираются из тех же данных, к которым они приспособлены. Между прочим, Арис Спанос утверждает, что тестирование с ошибочной спецификацией или проверка модели на данных делает вывод недействительным. onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

Льюиан,