Практические мысли о объяснительном и прогнозном моделировании

Еще в апреле я присутствовал на лекции в серии семинаров группы по статистике математического отдела UMD под названием «Объяснить или предсказать?». С докладом выступил профессор Галит Шмуэли, который преподает в Смитской школе бизнеса UMD. Ее доклад был основан на исследовании, которое она провела для статьи «Предсказательное и объяснительное моделирование в исследованиях ИС» , и на последующем рабочем документе под названием «Объяснить или предсказать?». ,

Аргумент д-ра Шмуэли состоит в том, что термины предиктивный и объяснительный в контексте статистического моделирования стали противоречивыми, и что в статистической литературе отсутствует тщательное обсуждение различий. В статье она противопоставляет и то, и другое рассказывает об их практических последствиях. Я призываю вас читать газеты.

Вопросы, которые я хотел бы задать сообществу практикующих:

• Как вы определяете прогностическое упражнение против объяснительного / описательного? Было бы полезно, если бы вы могли поговорить о конкретном приложении.
• Вы когда-нибудь попадали в ловушку использования одного, когда намеревались использовать другой? У меня конечно есть. Как вы знаете, какой использовать?

В одном предложении

Прогнозирующее моделирование - это «что может произойти?», Тогда как объяснительное моделирование - это «что мы можем с этим поделать?»

Во многих предложениях

Я думаю, что главное отличие состоит в том, что предполагается сделать с помощью анализа. Я бы сказал, что объяснение гораздо важнее для вмешательства, чем прогноз. Если вы хотите сделать что-то, чтобы изменить результат, то вам лучше всего объяснить, почему это так. Пояснительное моделирование, если все сделано правильно, расскажет вам, как вмешаться (какой вклад следует скорректировать). Однако, если вы просто хотите понять, каким будет будущее без какого-либо намерения (или способности) вмешаться, то прогнозное моделирование с большей вероятностью будет уместным.

В качестве невероятно свободного примера, используя «данные о раке».

Прогнозирующее моделирование с использованием «данных о раке» было бы целесообразным (или, по крайней мере, полезным), если бы вы финансировали онкологические отделения различных больниц. Вам на самом деле не нужно объяснять, почему люди заболевают раком, скорее вам нужна только точная оценка того, сколько услуг потребуется. Объяснительное моделирование, вероятно, не очень поможет здесь. Например, знание того, что курение ведет к более высокому риску заболевания раком, само по себе не говорит вам, следует ли выделять больше средств в отделение A или отделение B.

Объяснительное моделирование «данных о раке» было бы уместным, если вы хотите снизить национальный уровень заболеваемости раком - прогнозное моделирование здесь было бы довольно устаревшим. Способность точно предсказать уровень заболеваемости раком вряд ли поможет вам решить, как его снизить. Однако знание того, что курение ведет к более высокому риску рака, является ценной информацией - потому что если вы уменьшите курение (например, сделав сигареты более дорогими), это приведет к большему количеству людей с меньшим риском, что (мы надеемся) приведет к ожидаемому снижению заболеваемости раком ставки.

Рассматривая проблему таким образом, я бы подумал, что объяснительное моделирование будет в основном сосредоточено на переменных, которые контролируются пользователем, прямо или косвенно. Может возникнуть необходимость собрать другие переменные, но если вы не можете изменить ни одну из переменных в анализе, то я сомневаюсь, что объяснительное моделирование будет полезным, за исключением, возможно, того, чтобы дать вам желание получить контроль или влияние на эти переменные которые важны. Прогнозирующее моделирование, грубо говоря, просто ищет связи между переменными, независимо от того, контролируются они пользователем или нет. Вам нужно знать только входы / особенности / независимые переменные / и т. Д., Чтобы сделать прогноз, но вы должны иметь возможность изменять или влиять на входы / характеристики / независимые переменные / и т. Д., Чтобы вмешиваться и изменять результат ,

На мой взгляд, различия заключаются в следующем:

Пояснительная / Описательная

При поиске объяснительного / описательного ответа основное внимание уделяется имеющимся у нас данным, и мы стремимся обнаружить основные взаимосвязи между данными после учета шума.

Пример: правда ли, что регулярные физические упражнения (скажем, 30 минут в день) приводят к снижению артериального давления? Чтобы ответить на этот вопрос, мы можем собирать данные от пациентов об их режиме упражнений и их значениях артериального давления с течением времени. Цель состоит в том, чтобы выяснить, можем ли мы объяснить изменения артериального давления изменениями режима тренировок.

На кровяное давление влияет не только физическая нагрузка, но и целый ряд других факторов, таких как количество натрия, который человек ест и т. Д. Эти другие факторы будут рассматриваться как шум в приведенном выше примере, поскольку основное внимание уделяется выявлению взаимосвязи между режимом физической нагрузки и кровяное давление.

прогнозирование

Выполняя прогностическое упражнение, мы экстраполируем на неизвестное, используя известные связи между данными, которые у нас есть. Известные отношения могут возникать из объяснительного / описательного анализа или некоторого другого метода.

Пример: если я тренируюсь 1 час в день, в какой степени мое кровяное давление может снизиться? Чтобы ответить на этот вопрос, мы можем использовать ранее обнаруженную связь между кровяным давлением и режимом физической нагрузки для выполнения прогноза.

В вышеприведенном контексте акцент не делается на объяснение, хотя объяснительная модель может помочь в процессе прогнозирования. Существуют также не объяснительные подходы (например, нейронные сети), которые хороши для предсказания неизвестного, не обязательно добавляя наши знания о природе основных отношений между переменными.

Здесь возникает одна практическая проблема - выбор переменных при моделировании. Переменная может быть важной объясняющей переменной (например, является статистически значимой), но может быть бесполезной для целей прогнозирования (т. Е. Ее включение в модель приводит к ухудшению точности прогнозирования). Я вижу эту ошибку почти каждый день в опубликованных работах.

Другое различие заключается в различии анализа основных компонентов и факторного анализа. PCA часто используется в прогнозировании, но не так полезен для объяснения. FA включает в себя дополнительный шаг вращения, который делается для улучшения интерпретации (и, следовательно, объяснения). Сегодня в блоге Галита Шмуэли есть хороший пост на эту тему .

Обновление: третий случай возникает во временных рядах, когда переменная может быть важной объясняющей переменной, но она просто недоступна для будущего. Например, ипотечные кредиты могут быть тесно связаны с ВВП, но это не очень полезно для прогнозирования будущих кредитов на жилье, если у нас также нет хороших прогнозов ВВП.

Хотя некоторые люди считают, что легче всего думать о различии в терминах используемой модели / алгоритма (например, нейронные сети = предиктивные), это только один конкретный аспект различия в объяснении / предсказании. Вот колода слайдов, которую я использую в своем курсе интеллектуального анализа данных для обучения линейной регрессии с обоих углов. Даже с одной только линейной регрессией и с этим крошечным примером возникают различные проблемы, которые приводят к различным моделям для объяснительных и предсказательных целей (выбор переменных, выбор переменных, показатели эффективности и т. Д.)

Галит

Пример: классический пример, который я видел, в контексте прогнозирования человеческой деятельности. Самоэффективность (т. Е. Степень, в которой человек думает, что он может хорошо выполнить задачу) часто является сильным предиктором выполнения задачи. Таким образом, если вы ставите самоэффективность во множественную регрессию вместе с другими переменными, такими как интеллект и степень предшествующего опыта, вы часто обнаруживаете, что самоэффективность является сильным предиктором.

Это побудило некоторых исследователей предположить, что самоэффективность обуславливает выполнение задач. И это эффективные вмешательства, которые направлены на повышение чувства собственной эффективности человека.

Однако альтернативная теоретическая модель рассматривает самоэффективность в значительной степени как следствие выполнения задачи. Т.е., если ты хороший, то узнаешь это. В этих рамках вмешательства должны быть направлены на повышение фактической компетентности, а не воспринимаемой компетентности.

Таким образом, включение такой переменной, как самоэффективность, может повысить прогнозируемость, но при условии, что вы принимаете модель самоэффективности как следствия, ее не следует включать в качестве предиктора, если целью этой модели является выяснение причинных процессов, влияющих на производительность.

Это, конечно, поднимает вопрос о том, как разработать и проверить причинно-следственную теоретическую модель. Это явно опирается на многочисленные исследования, в идеале с некоторыми экспериментальными манипуляциями, и последовательный аргумент о динамических процессах.

Проксимальный по сравнению с дистальным : я видел подобные проблемы, когда исследователи интересуются эффектами дистальных и проксимальных причин. Проксимальные причины имеют тенденцию предсказывать лучше, чем дистальные причины. Тем не менее, теоретический интерес может заключаться в понимании того, как действуют дистальные и проксимальные причины.

Проблема выбора переменных : Наконец, огромная проблема в исследованиях в области социальных наук - это проблема выбора переменных. В любом данном исследовании существует бесконечное количество переменных, которые могли бы быть измерены, но не были. Таким образом, интерпретация моделей должна учитывать последствия этого при проведении теоретических интерпретаций.

Статистическое моделирование: две культуры (2001) Л. Бреймана, пожалуй, лучшая статья по этому вопросу. Его основные выводы (см. Также ответы других известных статистиков в конце документа) следующие:

• «Более высокая точность прогнозирования связана с более надежной информацией о базовом механизме данных. Слабая точность прогнозирования может привести к сомнительным выводам».
• «Алгоритмические модели могут дать лучшую точность прогнозирования, чем модели данных, и предоставить лучшую информацию о базовом механизме».

Я не читал ее работы за рефератом связанной статьи, но я чувствую, что различие между «объяснением» и «предсказанием» должно быть отброшено и заменено различием между целями практикующего, которые являются либо « причинно-следственная "или" прогнозирующая ". Вообще, я думаю, что «объяснение» - такое смутное слово, что оно почти ничего не значит. Например, закон Гука объясняет или предсказывает? На другом конце спектра, являются ли предсказательно точные системы рекомендаций хорошими причинно-следственными моделями явных оценок предметов? Я думаю, что мы все разделяем интуицию о том, что цель науки - объяснение, а цель технологии - предсказание; и эта интуиция почему-то теряется из-за инструментов, которые мы используем, таких как контролируемые алгоритмы обучения,

Сказав все это, возможно, единственное слово, которое я хотел бы применить к модели, является интерпретируемым. Регрессии обычно интерпретируются; нейронные сети со многими слоями часто не так. Я думаю, что люди иногда наивно полагают, что интерпретируемая модель предоставляет причинную информацию, в то время как неинтерпретируемые модели предоставляют только прогнозную информацию. Такое отношение кажется мне просто запутанным.

Мне все еще немного неясно, в чем вопрос. Сказав это, на мой взгляд, фундаментальное различие между прогностической и объяснительной моделями заключается в разнице в их направленности.

Пояснительные модели

По определению объяснительные модели имеют своей основной целью объяснить что-то в реальном мире. В большинстве случаев мы стремимся предлагать простые и понятные объяснения. Под простым я подразумеваю, что мы предпочитаем скупость (объясните явления с как можно меньшим количеством параметров), а под чистым я имею в виду, что мы хотели бы сделать утверждения следующей формы: «эффект изменения на одну единицу изменяет на держа все остальное постоянным ". Учитывая эти цели простых и ясных объяснений, объяснительные модели стремятся оштрафовать сложные модели (используя соответствующие критерии, такие как AIC) и предпочитают получать ортогональные независимые переменные (либо через контролируемые эксперименты, либо через подходящие преобразования данных).y $x$$y$$\beta$

Прогнозные модели

Цель прогностических моделей - предсказать что-то. Таким образом, они склонны концентрироваться не столько на скупости или простоте, сколько на своей способности прогнозировать зависимую переменную.

Однако вышесказанное является в некоторой степени искусственным различием, поскольку для прогнозирования могут использоваться объяснительные модели, а иногда прогнозирующие модели могут что-то объяснить.

как уже говорили другие, различие несколько бессмысленно, за исключением целей исследователя.

Брэд Эфрон, один из комментаторов статьи «Две культуры» , сделал следующее наблюдение (как обсуждалось в моем предыдущем вопросе ):

Предсказание само по себе достаточно лишь изредка. Почтовое отделение устраивает любой метод, который предсказывает правильные адреса из рукописных надписей. Питер Грегори провел свое исследование в целях прогнозирования, но также для лучшего понимания медицинской основы гепатита. В большинстве статистических обследований в качестве конечной цели указываются причинные факторы.

Определенные области (например, медицина) придают большое значение подгонке модели в качестве объяснительного процесса (распределение и т. Д.), Как средства для понимания основного процесса, который генерирует данные. Другие области менее заинтересованы в этом, и будут довольны моделью «черного ящика», которая имеет очень высокий прогнозирующий успех. Это может также повлиять на процесс построения модели.

С уважением, этот вопрос может быть лучше сфокусирован. Люди когда-либо использовали один термин, когда другой был более уместным? Да, конечно. Иногда это достаточно ясно из контекста, или вы не хотите быть педантичным. Иногда люди просто неряшливы или ленивы в своей терминологии. Это верно для многих людей, и я, конечно, не лучше.

Здесь потенциальная ценность (обсуждение объяснения и предсказания в резюме) состоит в том, чтобы прояснить различие между двумя подходами. Короче говоря, различие сосредоточено на роли причинности, Если вы хотите понять некоторую динамику в мире и объяснить, почему что-то происходит именно так, вам нужно определить причинно-следственные связи между соответствующими переменными. Чтобы предсказать, вы можете игнорировать причинность. Например, вы можете предсказать эффект от знания о его причине; вы можете предсказать существование причины, зная, что эффект произошел; и вы можете предсказать приблизительный уровень одного эффекта, зная другой эффект, вызванный той же самой причиной. Почему кто-то хочет быть в состоянии сделать это? Чтобы расширить свои знания о том, что может произойти в будущем, чтобы они могли планировать соответственно. Например, комиссия по условно-досрочному освобождению может захотеть предсказать вероятность повторного признания осужденного в случае условно-досрочного освобождения. Однако этого недостаточно для объяснения. Конечно, Оценка истинной причинно-следственной связи между двумя переменными может быть чрезвычайно сложной. Кроме того, модели, которые действительно отражают (что считается) реальные причинно-следственные связи, зачастую хуже для прогнозирования. Так зачем тогда это делать? Во-первых, большая часть этого делается в науке, где понимание преследуется ради самого себя. Во-вторых, если мы можем надежно выбрать истинные причины и развить способность воздействовать на них, мы можем оказать некоторое влияние на последствия.

Что касается стратегии статистического моделирования, то здесь нет большой разницы. В первую очередь разница заключается в том, как проводить исследование. Если ваша цель состоит в том, чтобы иметь возможность прогнозировать, выясните, какая информация будет доступна пользователям модели, когда им потребуется сделать прогноз. Информация, к которой у них не будет доступа, не имеет значения. Если они, скорее всего, захотят иметь возможность прогнозировать на определенном уровне (или в узком диапазоне) предикторов, попытайтесь отцентрировать диапазон выборки предиктора на этом уровне и выполнить избыточную выборку там. Например, если комиссия по условно-досрочному освобождению в основном захочет узнать о преступниках с двумя основными обвинительными приговорами, вы можете собрать информацию о преступниках с 1, 2 и 3 обвинительными приговорами. С другой стороны, оценка причинного статуса переменной в основном требует эксперимента. Это, Экспериментальные единицы должны быть произвольно назначены заранее заданным уровням объясняющих переменных. Если существует обеспокоенность по поводу того, зависит ли природа причинного эффекта от какой-либо другой переменной, эта переменная должна быть включена в эксперимент. Если невозможно провести настоящий эксперимент, тогда вы столкнетесь с гораздо более сложной ситуацией, которая слишком сложна для того, чтобы в нее входить.

Большинство ответов помогли прояснить, что такое моделирование для объяснения и моделирование для предсказания и почему они отличаются. Пока не ясно, как они отличаются. Итак, я подумал, что приведу пример, который может быть полезен.

Предположим, мы заинтересованы в моделировании колледжа GPA как функция академической подготовки. В качестве мер академической подготовки мы имеем:

1. Результаты тестов на пригодность;
2. HS GPA; а также
3. Количество тестов AP пройдено.

Стратегия прогнозирования

Если целью является прогнозирование, я мог бы использовать все эти переменные одновременно в линейной модели, и моей главной задачей было бы прогнозирование точности. Какая из переменных окажется наиболее полезной для прогнозирования среднего балла колледжа, будет включена в окончательную модель.

Стратегия объяснения

Если целью является объяснение, я мог бы больше беспокоиться о сокращении данных и тщательно обдумать корреляции между независимыми переменными. Моя главная задача - интерпретировать коэффициенты.

пример

В типичной многомерной задаче с коррелированными предикторами было бы весьма обычным наблюдать «неожиданные» коэффициенты регрессии. Учитывая взаимосвязи между независимыми переменными, было бы не удивительно видеть частичные коэффициенты для некоторых из этих переменных, которые не находятся в том же направлении, что и их отношения нулевого порядка, и которые могут показаться нелогичными и сложными для объяснения.

Например, предположим , что модель предполагает , что (с APTITUDE тестов и количество AP Тесты успешно пройдено приняты во внимание) выше GPAs средней школы связаны с более низким ВПА колледжа. Это не проблема для прогнозирования, но она создает проблемы для объяснительной модели, где такие отношения трудно интерпретировать . Эта модель может обеспечить лучшее из выборочных прогнозов, но она мало помогает нам понять связь между академической подготовкой и GPA в колледже.

Вместо этого, объяснительная стратегия может искать некоторую форму сокращения переменных, такую ​​как главные компоненты, факторный анализ или SEM, чтобы:

1. сосредоточиться на переменной, которая является наилучшей мерой «успеваемости», и моделировать колледж GPA на эту одну переменную; или же
2. используйте коэффициенты / скрытые переменные, полученные из комбинации трех показателей академической подготовки, а не исходных переменных.

Подобные стратегии могут снизить предсказательную силу модели, но они могут дать лучшее понимание того, как академическая подготовка связана с GPA колледжа.

Я хотел бы предложить ориентированный на модель взгляд на этот вопрос.

Прогнозирующее моделирование - это то, что происходит в большинстве анализов. Например, исследователь устанавливает регрессионную модель с кучей предикторов. Коэффициенты регрессии представляют собой прогностические сравнения между группами. Предиктивный аспект исходит из вероятностной модели: вывод делается в отношении модели суперпопуляции, которая могла произвести наблюдаемую популяцию или выборку. Цель этой модели - предсказать новые результаты для подразделений, выходящих из этой суперпопуляции. Часто это тщетная цель, потому что все постоянно меняется, особенно в социальном мире. Или потому, что ваша модель относится к редким единицам, таким как страны, и вы не можете нарисовать новый образец. Полезность модели в этом случае оставлена ​​на усмотрение аналитика.

Когда вы пытаетесь обобщить результаты для других групп или будущих подразделений, это все еще предсказание, но другого типа. Мы можем назвать это прогнозированием, например. Ключевым моментом является то, что прогностическая сила оценочных моделей по умолчанию носит описательный характер. Вы сравниваете результаты по группам и выдвигаете гипотезу вероятностной модели для этих сравнений, но не можете сделать вывод, что эти сравнения представляют собой причинные эффекты.

Причина в том, что эти группы могут страдать от предвзятости выбора . Т.е. они могут, естественно, иметь более высокий балл в результате, представляющем интерес, независимо от лечения (гипотетическое причинное вмешательство). Или они могут подвергаться воздействию другого размера эффекта лечения, чем другие группы. Вот почему, особенно для данных наблюдений, оценочные модели обычно основаны на прогнозных сравнениях, а не на объяснениях. Объяснение касается определения и оценки причинного эффекта и требует хорошо спланированных экспериментов или вдумчивого использования инструментальных переменных. В этом случае прогностические сравнения вырезаны из любого смещения выбора и представляют причинные эффекты. Таким образом, модель может рассматриваться как пояснительная.

Я обнаружил, что размышления в этих терминах часто проясняют, что я действительно делал, когда настраивал модель для некоторых данных.

Мы можем узнать гораздо больше, чем мы думаем, из «предсказательных» моделей «черного ящика». Ключ в выполнении различных типов анализа чувствительности и моделирования, чтобы действительно понять, как на модель OUTPUT влияют изменения в пространстве INPUT. В этом смысле даже чисто прогнозирующая модель может дать объяснения. Это вопрос, который часто упускается из виду или неправильно понимается исследовательским сообществом. То, что мы не понимаем, почему работает алгоритм, не означает, что алгоритму не хватает объяснительной силы ...

В целом с основной точки зрения, краткий ответ вероятностного логики абсолютно правильный ...

Существует различие между тем, что она называет объяснительными и прогностическими приложениями в статистике. Она говорит, что мы должны знать каждый раз, когда мы используем тот или иной, какой именно используется. Она говорит, что мы часто их путаем , следовательно, путаница .

Я согласен, что в приложениях по общественным наукам различие разумно, но в естественных науках они есть и должны быть одинаковыми. Кроме того, я называю их выводом, а не прогнозированием , и согласен с тем, что в социальных науках не следует смешивать их.

Я начну с естественных наук. В физике мы сосредоточены на объяснении, мы пытаемся понять, как устроен мир, что вызывает то, что и т. Д. Итак, основное внимание уделяется причинно-следственной связи, умозаключениям и тому подобному. С другой стороны, прогностический аспект также является частью научного процесса. На самом деле, способ, которым вы доказываете теорию, которая уже хорошо объясняла наблюдения (представьте себе, что есть в выборке), состоит в том, чтобы предсказать новые наблюдения, а затем проверить, как сработало предсказание. Любая теория, которой не хватает предсказательных способностей, столкнется с большими трудностями, получив признание в физике. Вот почему эксперименты типа Майкельсона-Морли так важны.

К сожалению, в общественных науках основные явления нестабильны, неповторимы, невоспроизводимы. Если вы наблюдаете распад ядер, вы будете получать одни и те же результаты каждый раз, когда наблюдаете их, и те же результаты, что я или чувак сто лет назад. Не в экономике или финансах. Кроме того, возможность проведения экспериментов очень ограничена, практически отсутствует для всех практических целей, мы только наблюдаем и проводим случайные выборкинаблюдений. Я могу продолжать, но идея в том, что явления, с которыми мы имеем дело, очень нестабильны, поэтому наши теории не такого качества, как в физике. Таким образом, один из способов, с помощью которых мы справляемся с ситуацией, заключается в том, чтобы сосредоточиться либо на выводе (когда вы пытаетесь понять, что вызывает то или иное воздействие), либо на прогнозировании (просто скажите, что, по вашему мнению, произойдет с той или иной структурой, игнорируемой).

Структурная модель даст объяснение, а прогнозирующая модель даст прогноз. Структурная модель будет иметь скрытые переменные. Структурная модель является одновременно кульминацией регрессионного и факторного анализа.

Латентные переменные проявляются в форме мультиколлинеарности в прогностических моделях (регрессия).