О Джордже Боксе, Галите Шмуэли и научном методе?

(Этот вопрос может показаться, что он лучше подходит для Philosophy SE. Я надеюсь, что статистики смогут уточнить мои неправильные представления о высказываниях Бокса и Шмуэли, поэтому я публикую его здесь).

Джордж Бокс (из известности ARIMA) сказал:

«Все модели ошибочны, но некоторые полезны».

Галит Шмуэли в своей знаменитой статье «Объяснить или предсказать» утверждает (и цитирует других, кто с ней согласен), что:

Объяснения и предсказания - это не одно и то же, и что некоторые модели хорошо объясняют, хотя и плохо предсказывают.

Я чувствую, что эти принципы как-то противоречивы.

Если модель плохо предсказывает, полезно ли это?

Что еще более важно, если модель хорошо объясняет (но не обязательно хорошо предсказывает), то она должна быть верной (то есть не ошибочной), так или иначе. Так как же это сочетается с тем, что у Бокса «все модели неправильны»?

Наконец, если модель хорошо объясняет, но плохо предсказывает, как она научна? Большинство научных критериев демаркации (верификация, фальсификационизм и т. Д.) Подразумевают, что научное утверждение должно иметь предсказательную силу или в разговорной речи: теория или модель верна, только если она может быть проверена эмпирически (или фальсифицирована), что означает, что она должен прогнозировать будущие результаты.

Мои вопросы:

• Действительно ли утверждение Бокса и идеи Шмуэли противоречивы или я что-то упускаю, например, может ли модель не обладать предсказательной силой, но все же быть полезной?
• Если утверждения Бокса и Шмуэли не противоречат друг другу, что означает, что модель ошибочна и плохо предсказывает, но все же обладает объяснительной силой? Говоря иначе: если человек отнимает правильность и способность к предсказанию, что остается от модели?

Какие эмпирические подтверждения возможны, когда модель обладает объяснительной силой, но не предсказательной силой? Шмуэли упоминает такие вещи, как: используйте AIC для объяснения и BIC для предсказания и т. Д., Но я не понимаю, как это решает проблему. С прогнозирующими моделями вы можете использовать AIC, или BIC, или регуляризацию $R^2$ , или $L1$ и т. Д., Но в конечном итоге именно из-за выборочного тестирования и производительности в производстве определяется качество модели. Но для моделей, которые хорошо объясняют, я не понимаю, как какая-либо функция потерь может действительно оценить модель. В философии науки есть понятие недоопределениячто представляется здесь уместным: для любого данного набора данных всегда можно разумно выбрать некоторое распределение (или смесь распределений) и функцию потерь $L$ таким образом, чтобы они соответствовали данным (и, следовательно, можно требовать их объяснения). Более того, порог, по которому $L$ должен быть ниже, чтобы кто-то мог утверждать, что модель адекватно объясняет данные, является произвольным (вроде как р-значения, почему это $p < 0.05$ а не $p < 0.1$ или $p < 0.01$ ?).

• Исходя из вышеизложенного, как можно объективно проверить модель, которая хорошо объясняет, но плохо предсказывает, так как тестирование вне образца невозможно?

Позвольте мне начать с содержательной цитаты Джорджа Бокса о том, что «все модели ошибочны, но некоторые полезны». Это утверждение является инкапсуляцией методологического подхода «позитивизма», который является философским подходом, который имеет большое влияние в науках. Этот подход подробно описан (в контексте экономической теории) в классическом методологическом эссе Фридмана (1966) . В этом эссе Фридман утверждает, что любая полезная научная теория обязательно представляет собой упрощение реальности, и, следовательно, ее предположения всегда должны в некоторой степени отклоняться от реальности и даже могут существенно отличаться от реальности.в уменьшении сложности мира до управляемого набора принципов и его точности в прогнозировании реальности и создании новых проверяемых гипотез о реальности. Таким образом, Фридман утверждает, что «все модели ошибочны», поскольку все они содержат предположения, которые упрощают (и, следовательно, отходят от) реальность, но что «некоторые полезны», поскольку они дают простую основу для полезных предсказаний о реальности.

Теперь, если вы прочитаете Box (1976) (газета, где он впервые утверждает, что «все модели ошибочны»), вы увидите, что он не цитирует Фридмана и не упоминает методологический позитивизм. Тем не менее, его объяснение научного метода и его характеристик чрезвычайно близко к тому, что разработал Фридман. В частности, оба автора подчеркивают, что научная теория будет делать прогнозы относительно реальности, которые можно проверить на основании наблюдаемых фактов, и ошибка в прогнозе может быть использована в качестве основы для пересмотра теории.

Теперь перейдем к дихотомии, обсуждаемой Галитом Шмуэли в Шмуэли (2001) . В этой статье Шмуэли сравнивает причинное объяснение и предсказание наблюдаемых результатов и утверждает, что это разные виды деятельности. В частности, она утверждает, что причинно-следственные связи основаны на базовых конструкциях, которые не проявляются непосредственно в измеримых результатах, и поэтому «измеримые данные не являются точным представлением их базовых конструкций» (стр. 293). Поэтому она утверждает, что есть аспект статистического анализа, который включает в себя выводы о ненаблюдаемых причинно-следственных связях, которые не проявляются в измеримых контрфактивных различиях в результатах.

Если я чего-то не понимаю, я думаю, что будет справедливо сказать, что эта идея противоречит позитивистским взглядам Бокса и Фридмана, представленным в цитате Бокса. Позитивистская точка зрения, по сути, говорит, что не существует допустимых метафизических «конструктов», кроме тех, которые проявляются в измеримых результатах. Позитивизм ограничивается рассмотрением наблюдаемых данных и концепций, построенных на этих данных; это исключает рассмотрение априориметафизические понятия. Таким образом, позитивист будет утверждать, что концепция причинности может быть действительной только в той степени, в которой она определяется с точки зрения измеримых результатов в реальности - в той степени, в которой она определяется как нечто отличное от этого (как его трактует Шмуэли), это будет рассматриваться как метафизическое предположение и будет рассматриваться как недопустимое в научном дискурсе.

Так что я думаю, что вы правы - эти два подхода по сути конфликтуют. Позитивистский подход, используемый Боксом, настаивает на том, чтобы действительные научные концепции были полностью основаны на их проявлениях в реальности, тогда как альтернативный подход, используемый Шмуэли, говорит, что есть некоторые «конструкты», которые являются важными научными концепциями (которые мы хотим объяснить), но которые не могут быть прекрасно представленными, когда они «задействованы», связывая их с измеримыми результатами в реальности.

Модель, используемая для объяснения вещей, является упрощением реальности. Упрощение - это просто другое слово «неправильно каким-то полезным способом». Например, если мы округляем число от 3.1415926535898 до 3.14, мы делаем ошибку, но эта ошибка позволяет нам, людям, сосредоточиться на самой важной части этого числа. Это то, как модели используются при объяснении, оно дает представление о какой-то проблеме, но по необходимости необходимо абстрагироваться от многих других вещей: мы, люди, просто не очень способны смотреть на тысячи вещей одновременно. Если мы в первую очередь заботимся о прогнозировании, мы хотим включить эти тысячи вещей, когда это возможно, но объяснение компромисса отличается.

Пример модели, которая превосходна в прогнозировании, но ничего не объясняет, приводится в статье в Википедии « Все модели ошибочны ». Примером является модель тяготения Ньютона. Модель Ньютона почти всегда дает прогнозы, которые неотличимы от эмпирических наблюдений. И все же модель крайне неправдоподобна: потому что она постулирует силу, которая может действовать мгновенно на сколь угодно больших расстояниях.

Модель Ньютона была вытеснена моделью, приведенной в общей теории относительности Эйнштейна. При общей теории относительности гравитационные силы движутся в пространстве с конечной скоростью (скоростью света).

Модель Ньютона не является упрощением общерелятивистской модели. Чтобы проиллюстрировать это, рассмотрим яблоко, падающее с дерева. Согласно общей теории относительности, яблоко падает, не оказывая на яблоко никакой силы. (Основная причина, по которой яблоко падает, состоит в том, что Земля искажает время, поэтому часы у основания дерева бегут медленнее, чем часы высоко в дереве.) Таким образом, как отмечается в статье в Википедии, модель Ньютона совершенно неверна из объяснительной перспектива.

В работе Шмуэли [2010] предполагается, что у модели есть две цели: предсказание и объяснение. Фактически, несколько авторов заявили, что есть три цели (см., Например, Konishi & Kitagawa [ Информационные критерии и статистическое моделирование , 2008: §1.1] и Friendly & Meyer [ Анализ дискретных данных , 2016: §11.6]). Три цели соответствуют трем видам логического мышления:

• предсказание (соответствующее удержанию);
• оценка параметров (соответствует индукции);
• описание строения (соответствует похищению).

Я студент в области статистики, поэтому я не буду называть себя экспертом, но вот мои два цента.

Модели не объясняют себя; люди их интерпретируют. Линейные модели легче понять, чем нейронные сети и случайные леса, потому что они ближе к тому, как мы принимаем решения. Действительно, ANN имитируют человеческий мозг, но вы не решаете, в какой ресторан пойти завтра, выполняя серию умножений матриц. Вместо этого вы оцениваете некоторые факторы в своем разуме по их важности, которая по сути является линейной комбинацией.

«Объяснительная сила» измеряет, насколько хорошо модель согласуется с интуицией человека, тогда как «предсказательная сила» измеряет, насколько хорошо она соответствует основному механизму интересующего процесса. Противоречие между ними - это, по сути, разрыв между тем, что представляет собой мир, и тем, как мы можем его воспринимать / понимать. Я надеюсь, что это объясняет, почему «некоторые модели хорошо объясняют, хотя и плохо предсказывают».

Ян Стюарт однажды сказал: «Если бы наш мозг был достаточно прост, чтобы мы могли его понять, мы были бы настолько просты, что не смогли бы». К сожалению, наш маленький человеческий мозг на самом деле очень прост по сравнению со вселенной или даже с фондовым рынком (который включает в себя много мозгов :). До сих пор все модели являются продуктами человеческого мозга, поэтому они должны быть более или менее неточными, что приводит к тому, что Бокс «Все модели не правы». С другой стороны, модель не должна быть технически правильной, чтобы быть полезной. Например, законы движения Ньютона были опровергнуты Эйнштейном, но он остается полезным, когда объект не является смехотворно большим или быстрым.

Чтобы ответить на ваш вопрос, я, честно говоря, не вижу несовместимости между точками Бокса и Шмуэли. Кажется, вы считаете, что «объяснительная сила» и «предсказательная сила» являются биномиальными свойствами, но я думаю, что они находятся на двух концах спектра.