О Джордже Боксе, Галите Шмуэли и научном методе?

16

(Этот вопрос может показаться, что он лучше подходит для Philosophy SE. Я надеюсь, что статистики смогут уточнить мои неправильные представления о высказываниях Бокса и Шмуэли, поэтому я публикую его здесь).

Джордж Бокс (из известности ARIMA) сказал:

«Все модели ошибочны, но некоторые полезны».

Галит Шмуэли в своей знаменитой статье «Объяснить или предсказать» утверждает (и цитирует других, кто с ней согласен), что:

Объяснения и предсказания - это не одно и то же, и что некоторые модели хорошо объясняют, хотя и плохо предсказывают.

Я чувствую, что эти принципы как-то противоречивы.

Если модель плохо предсказывает, полезно ли это?

Что еще более важно, если модель хорошо объясняет (но не обязательно хорошо предсказывает), то она должна быть верной (то есть не ошибочной), так или иначе. Так как же это сочетается с тем, что у Бокса «все модели неправильны»?

Наконец, если модель хорошо объясняет, но плохо предсказывает, как она научна? Большинство научных критериев демаркации (верификация, фальсификационизм и т. Д.) Подразумевают, что научное утверждение должно иметь предсказательную силу или в разговорной речи: теория или модель верна, только если она может быть проверена эмпирически (или фальсифицирована), что означает, что она должен прогнозировать будущие результаты.

Мои вопросы:

  • Действительно ли утверждение Бокса и идеи Шмуэли противоречивы или я что-то упускаю, например, может ли модель не обладать предсказательной силой, но все же быть полезной?
  • Если утверждения Бокса и Шмуэли не противоречат друг другу, что означает, что модель ошибочна и плохо предсказывает, но все же обладает объяснительной силой? Говоря иначе: если человек отнимает правильность и способность к предсказанию, что остается от модели?

Какие эмпирические подтверждения возможны, когда модель обладает объяснительной силой, но не предсказательной силой? Шмуэли упоминает такие вещи, как: используйте AIC для объяснения и BIC для предсказания и т. Д., Но я не понимаю, как это решает проблему. С прогнозирующими моделями вы можете использовать AIC, или BIC, или регуляризацию R2 , или L1 и т. Д., Но в конечном итоге именно из-за выборочного тестирования и производительности в производстве определяется качество модели. Но для моделей, которые хорошо объясняют, я не понимаю, как какая-либо функция потерь может действительно оценить модель. В философии науки есть понятие недоопределениячто представляется здесь уместным: для любого данного набора данных всегда можно разумно выбрать некоторое распределение (или смесь распределений) и функцию потерь L таким образом, чтобы они соответствовали данным (и, следовательно, можно требовать их объяснения). Более того, порог, по которому L должен быть ниже, чтобы кто-то мог утверждать, что модель адекватно объясняет данные, является произвольным (вроде как р-значения, почему это p<0.05 а не p<0.1 или p<0.01 ?).

  • Исходя из вышеизложенного, как можно объективно проверить модель, которая хорошо объясняет, но плохо предсказывает, так как тестирование вне образца невозможно?
Скандер Х. - Восстановить Монику
источник
3
Насколько я помню Шмуэли, для нее хорошо объяснить - значит правильно понять функциональную форму (но, возможно, иметь огромную неточность оценки, когда дело доходит до параметров этой функциональной формы), в то время как правильно прогнозировать - значит найти компромисс между отклонениями и отклонениями. правильно (компромисс по функциональной форме с целью повышения точности оценки). Также здесь может пригодиться тег философский .
Ричард Харди
1
Я не думаю, что «или» должно быть исключительным. Простота и унификация являются неоспоримыми критериями отбора для теорий с одинаковой прогностической ценностью, и если да, то жертвование точностью для них вполне может быть оправдано во многих контекстах. Девиз Бокса отражает другой взгляд на науку, выдвинутый, например, в «Научном образе» ван Фраассена (и возвращающегося к Канту): он должен составлять адекватные / полезные описания наблюдаемого, а не рассказывать буквально правдивые истории о ненаблюдаемой «реальности». Грубой адекватности может быть достаточно для многих задач, и «одна правильная модель» вполне может быть наивным плодом.
Conifold
2
@ Conifold Действительно, анализ цикла Ричарда Левинса сложных причинно-следственных систем (не статистический метод, хотя существуют его применения, которые непосредственно связаны со статистическими предсказаниями) жертвует почти всей точностью в пользу реалистичности модели (переменные и отношения между ними) и общности (применимость аналитических результатов на модели ко всем переменным, имеющим одинаковую причинную структуру). См. Левинс Р. (1966). Стратегия построения модели в биологии населения . Американский ученый , 54 (4), 421–431.
Алексис
(+1. Я все еще надеюсь найти время, чтобы опубликовать ответ здесь ...)
амеба говорит Восстановить Монику

Ответы:

9

Позвольте мне начать с содержательной цитаты Джорджа Бокса о том, что «все модели ошибочны, но некоторые полезны». Это утверждение является инкапсуляцией методологического подхода «позитивизма», который является философским подходом, который имеет большое влияние в науках. Этот подход подробно описан (в контексте экономической теории) в классическом методологическом эссе Фридмана (1966) . В этом эссе Фридман утверждает, что любая полезная научная теория обязательно представляет собой упрощение реальности, и, следовательно, ее предположения всегда должны в некоторой степени отклоняться от реальности и даже могут существенно отличаться от реальности.в уменьшении сложности мира до управляемого набора принципов и его точности в прогнозировании реальности и создании новых проверяемых гипотез о реальности. Таким образом, Фридман утверждает, что «все модели ошибочны», поскольку все они содержат предположения, которые упрощают (и, следовательно, отходят от) реальность, но что «некоторые полезны», поскольку они дают простую основу для полезных предсказаний о реальности.

Теперь, если вы прочитаете Box (1976) (газета, где он впервые утверждает, что «все модели ошибочны»), вы увидите, что он не цитирует Фридмана и не упоминает методологический позитивизм. Тем не менее, его объяснение научного метода и его характеристик чрезвычайно близко к тому, что разработал Фридман. В частности, оба автора подчеркивают, что научная теория будет делать прогнозы относительно реальности, которые можно проверить на основании наблюдаемых фактов, и ошибка в прогнозе может быть использована в качестве основы для пересмотра теории.

Теперь перейдем к дихотомии, обсуждаемой Галитом Шмуэли в Шмуэли (2001) . В этой статье Шмуэли сравнивает причинное объяснение и предсказание наблюдаемых результатов и утверждает, что это разные виды деятельности. В частности, она утверждает, что причинно-следственные связи основаны на базовых конструкциях, которые не проявляются непосредственно в измеримых результатах, и поэтому «измеримые данные не являются точным представлением их базовых конструкций» (стр. 293). Поэтому она утверждает, что есть аспект статистического анализа, который включает в себя выводы о ненаблюдаемых причинно-следственных связях, которые не проявляются в измеримых контрфактивных различиях в результатах.

Если я чего-то не понимаю, я думаю, что будет справедливо сказать, что эта идея противоречит позитивистским взглядам Бокса и Фридмана, представленным в цитате Бокса. Позитивистская точка зрения, по сути, говорит, что не существует допустимых метафизических «конструктов», кроме тех, которые проявляются в измеримых результатах. Позитивизм ограничивается рассмотрением наблюдаемых данных и концепций, построенных на этих данных; это исключает рассмотрение априориметафизические понятия. Таким образом, позитивист будет утверждать, что концепция причинности может быть действительной только в той степени, в которой она определяется с точки зрения измеримых результатов в реальности - в той степени, в которой она определяется как нечто отличное от этого (как его трактует Шмуэли), это будет рассматриваться как метафизическое предположение и будет рассматриваться как недопустимое в научном дискурсе.

Так что я думаю, что вы правы - эти два подхода по сути конфликтуют. Позитивистский подход, используемый Боксом, настаивает на том, чтобы действительные научные концепции были полностью основаны на их проявлениях в реальности, тогда как альтернативный подход, используемый Шмуэли, говорит, что есть некоторые «конструкты», которые являются важными научными концепциями (которые мы хотим объяснить), но которые не могут быть прекрасно представленными, когда они «задействованы», связывая их с измеримыми результатами в реальности.

Восстановить Монику
источник
Точно!!! Кажется, Шмуэли противоречит большинству позитивистских (и фальсификационистских) определений научного утверждения, и мне интересно, действительно ли ее намерение состоит в том, чтобы сделать такое смелое философское утверждение? или она, как статистика, не знает, насколько смелыми являются ее заявления на самом деле?
Скандер Х. - Восстановить Монику
Я разместил связанный вопрос о философии SE , хотите взвесить его?
Скандер Х. - Восстановить Монику
1
Хотя позитивизм и прагматизм имеют общие антиреалистические черты, подход Бокса является последним, и позитивизм не оказывает влияния на науку, по крайней мере, с конца 1960-х годов. Вот почему Бокс не упоминает Фридмана или других позитивистов. Прагматизм не ограничивается наблюдаемыми данными и не имеет проблем с априорными концепциями или метафизическими конструкциями. Он просто не рассматривает их как приближающиеся к «реальности», и, следовательно, нацеленные на уникально «правильные» функции, они могут быть множественными, зависимыми от задачи и подлежащими пересмотру. Причинно-следственные связи являются такими конструкциями, поэтому между Боксом и Шмуэли нет конфликта.
Conifold
Был ли Бокс прагматиком, конкретная цитата, которую он здесь приводит, на мой взгляд, более благоприятна для позитивизма, чем прагматизма. Последняя философия придерживается плюралистического взгляда на метафизику, который утверждает, что существует множество последовательных способов концептуализации реальности и что все они являются «истинными» в смысле полезной концептуализации реальности. Таким образом, позитивизм сказал бы, что «все модели неправильны, но некоторые полезны», в то время как принцип прагматизма был бы ближе к «многие модели верны, потому что они полезны».
Восстановить Монику
Отождествление истинного с полезным является просто народным заблуждением о прагматизме. Все модели ошибочны, потому что «правильно» предполагает, что им есть что соответствовать, что отрицают прагматики. А принцип толерантности, «модели верны до тех пор, пока они служат цели», принадлежит Карнапу, отцу логического позитивизма.
Conifold
4

Модель, используемая для объяснения вещей, является упрощением реальности. Упрощение - это просто другое слово «неправильно каким-то полезным способом». Например, если мы округляем число от 3.1415926535898 до 3.14, мы делаем ошибку, но эта ошибка позволяет нам, людям, сосредоточиться на самой важной части этого числа. Это то, как модели используются при объяснении, оно дает представление о какой-то проблеме, но по необходимости необходимо абстрагироваться от многих других вещей: мы, люди, просто не очень способны смотреть на тысячи вещей одновременно. Если мы в первую очередь заботимся о прогнозировании, мы хотим включить эти тысячи вещей, когда это возможно, но объяснение компромисса отличается.

Мартен Буис
источник
1
π
1
@SkanderH. В той степени, в которой «элегантные и интуитивно понятные графы» облегчают инженерные приложения или разработку новых теорий, их ценность не является чисто субъективной или ненаучной, она прагматична. Объединение, объяснительная сила, простота и согласованность широко признаны как эпистемические , а не эстетические ценности . Выбор между теорией эфира Лоренца и специальной теорией относительности был сделан именно на основе таких соображений, они предсказательно эквивалентны.
Conifold
3

Пример модели, которая превосходна в прогнозировании, но ничего не объясняет, приводится в статье в Википедии « Все модели ошибочны ». Примером является модель тяготения Ньютона. Модель Ньютона почти всегда дает прогнозы, которые неотличимы от эмпирических наблюдений. И все же модель крайне неправдоподобна: потому что она постулирует силу, которая может действовать мгновенно на сколь угодно больших расстояниях.

Модель Ньютона была вытеснена моделью, приведенной в общей теории относительности Эйнштейна. При общей теории относительности гравитационные силы движутся в пространстве с конечной скоростью (скоростью света).

Модель Ньютона не является упрощением общерелятивистской модели. Чтобы проиллюстрировать это, рассмотрим яблоко, падающее с дерева. Согласно общей теории относительности, яблоко падает, не оказывая на яблоко никакой силы. (Основная причина, по которой яблоко падает, состоит в том, что Земля искажает время, поэтому часы у основания дерева бегут медленнее, чем часы высоко в дереве.) Таким образом, как отмечается в статье в Википедии, модель Ньютона совершенно неверна из объяснительной перспектива.

В работе Шмуэли [2010] предполагается, что у модели есть две цели: предсказание и объяснение. Фактически, несколько авторов заявили, что есть три цели (см., Например, Konishi & Kitagawa [ Информационные критерии и статистическое моделирование , 2008: §1.1] и Friendly & Meyer [ Анализ дискретных данных , 2016: §11.6]). Три цели соответствуют трем видам логического мышления:

  • предсказание (соответствующее удержанию);
  • оценка параметров (соответствует индукции);
  • описание строения (соответствует похищению).
твердофазный
источник
Сказать, что модель тяготения Ньютона «ничего не объясняет», откровенно говоря, смешно. -1.
амеба говорит восстановить Монику
amoeba, модель Ньютона ничего не объясняет о том, как работает гравитация, в предположении, что общая теория относительности точна. Если яблоко падает, модель Ньютона постулирует, что Земля оказывает на яблоко силу, и этот постулат полностью ложен. Прошу вас обдумать мой ответ дальше. Если вы все еще не понимаете, то, пожалуйста, скажите мне, что неясно.
SolidPhase
То, что вы говорите, совершенно ясно, но я категорически не согласен с этим.
говорит амеба: восстанови Монику
амеба, я прошу тебя объяснить, почему ты не согласен: у тебя есть причина? (Обратите внимание, что я добавил дополнительное предложение к ответу.)
SolidPhase
Благодарю. Я посмотрю ссылки, которые вы упомянули. Я понимаю, как модель может предсказать, даже если она не объясняет. Что я не понимаю, так это обратное направление: как модель может объяснить без предсказания. Вы, примеры Ньютона и Эйнштейна, просто еще больше запутывают все: теория Эйнштейна вытеснила теорию Ньютона, потому что она предсказывала лучше. Посмотрите на это иначе: если у нас есть конкурирующие объяснительные модели, как мы можем их оценить, если не проверим, какая из них обладает наибольшей предсказательной силой?
Скандер Х. - Восстановить Монику
1

Я студент в области статистики, поэтому я не буду называть себя экспертом, но вот мои два цента.

Модели не объясняют себя; люди их интерпретируют. Линейные модели легче понять, чем нейронные сети и случайные леса, потому что они ближе к тому, как мы принимаем решения. Действительно, ANN имитируют человеческий мозг, но вы не решаете, в какой ресторан пойти завтра, выполняя серию умножений матриц. Вместо этого вы оцениваете некоторые факторы в своем разуме по их важности, которая по сути является линейной комбинацией.

«Объяснительная сила» измеряет, насколько хорошо модель согласуется с интуицией человека, тогда как «предсказательная сила» измеряет, насколько хорошо она соответствует основному механизму интересующего процесса. Противоречие между ними - это, по сути, разрыв между тем, что представляет собой мир, и тем, как мы можем его воспринимать / понимать. Я надеюсь, что это объясняет, почему «некоторые модели хорошо объясняют, хотя и плохо предсказывают».

Ян Стюарт однажды сказал: «Если бы наш мозг был достаточно прост, чтобы мы могли его понять, мы были бы настолько просты, что не смогли бы». К сожалению, наш маленький человеческий мозг на самом деле очень прост по сравнению со вселенной или даже с фондовым рынком (который включает в себя много мозгов :). До сих пор все модели являются продуктами человеческого мозга, поэтому они должны быть более или менее неточными, что приводит к тому, что Бокс «Все модели не правы». С другой стороны, модель не должна быть технически правильной, чтобы быть полезной. Например, законы движения Ньютона были опровергнуты Эйнштейном, но он остается полезным, когда объект не является смехотворно большим или быстрым.

Чтобы ответить на ваш вопрос, я, честно говоря, не вижу несовместимости между точками Бокса и Шмуэли. Кажется, вы считаете, что «объяснительная сила» и «предсказательная сила» являются биномиальными свойствами, но я думаю, что они находятся на двух концах спектра.

nalzok
источник