Почему включение широты и долготы в GAM учитывает пространственную автокорреляцию?

60

Я произвел обобщенные аддитивные модели для обезлесения. Чтобы учесть пространственную автокорреляцию, я включил широту и долготу в качестве сглаженного члена взаимодействия (т.е. s (x, y)).

Я основал это на чтении многих работ, где авторы говорят, что «для учета пространственной автокорреляции координаты точек были включены как сглаженные термины», но они никогда не объясняли, почему это на самом деле объясняет это. Это довольно сложно. Я прочитал все книги, которые я могу найти по GAM, в надежде найти ответ, но большинство (например, Обобщенные аддитивные модели, Введение в R, SN Wood) просто касаются предмета, не объясняя.

Я был бы очень признателен, если бы кто-то мог объяснить, ПОЧЕМУ включение широты и долготы объясняет пространственную автокорреляцию, и что на самом деле означает это «учет» - достаточно ли просто включить его в модель, или вам следует сравнить модель с s (x, y) и модель без? И указывает ли отклонение, объясняемое этим термином, на степень пространственной автокорреляции?

r modeling spatial autocorrelation gam gisol
источник
Если это уместно, я использовал функцию «bam» из пакета «mgcv» в R.
gisol
Кроме того, я проверил пространственную автокорреляцию, используя Морана I.
Гизоль
Возможный дубликат Можно ли использовать функцию сплайна пространственных координат для управления пространственной автокорреляцией?
Макрос
3
Учитывая ответы здесь, мы могли бы пометить другие ссылки на Q @Macro как дубликаты этой ссылки, чтобы люди, которые сталкиваются с этой, увидели здесь ответы, особенно те из whuber.
Гэвин Симпсон
+1 @GavinSimpson - кстати, обратите внимание, что у вас есть право подавать близкие голоса, достаточное количество которых приведет к объединению двух вопросов.
Макро

Ответы:

38

Основным вопросом в любой статистической модели являются предположения, лежащие в основе любой процедуры вывода. В модели, которую вы описываете, остатки считаются независимыми. Если они имеют некоторую пространственную зависимость, и это не моделируется в системной части модели, остатки из этой модели также будут демонстрировать пространственную зависимость, или, другими словами, они будут пространственно автокоррелированы. Такая зависимость могла бы сделать недействительной теорию, которая, например, выдает p-значения из тестовой статистики в GAM; Вы не можете доверять p-значениям, потому что они были вычислены с учетом независимости.

У вас есть два основных варианта обработки таких данных; i) моделировать пространственную зависимость в систематической части модели или ii) ослабить допущение независимости и оценить корреляцию между невязками.

i) это то, что пытаются сделать, включив сглаживание пространственных местоположений в модели. ii) требует оценки корреляционной матрицы невязок часто во время подбора модели с использованием процедуры, подобной обобщенным наименьшим квадратам. Насколько хорошо любой из этих подходов справится с пространственной зависимостью, будет зависеть от характера и сложности пространственной зависимости и от того, насколько легко ее можно моделировать.

Таким образом, если вы можете смоделировать пространственную зависимость между наблюдениями, то остатки, скорее всего, будут независимыми случайными величинами и, следовательно, не будут нарушать предположения какой-либо логической процедуры.

Гэвин Симпсон
источник
Спасибо за ваш четкий ответ Гэвин. Что делает пространственную автокорреляцию принципиально отличной от любого градиента, не включенного в модель? Скажем, область вашего исследования находилась на склоне холма, и интересующие вас виды предпочитали более низкую среду обитания более высокой среде обитания. Отказ от включения возвышения в модель оставил бы структуру в остатках, не так ли? Просто пространственная автокорреляция (или была) забыта или не учтена? (PS, возможно, это плохой пример, так как включение lat, long также учитывает этот эффект).
Гизоль
4
Да. Я подозреваю, что в примерах, которые вы рассматривали, либо пространственный компонент представлял интерес, поэтому он был смоделирован явно с помощью сглаживания широта / долгота, или пространственный компонент был неприятным слагаемым, но его нужно было смоделировать, чтобы оставить остатки в iid, если "пространственный" «Компонент лучше моделируется с помощью другой переменной (например, высота в вашем комментарии), чем сглаживание этой переменной будет использоваться вместо пространственных местоположений.
Гэвин Симпсон
1
Почему сгладить? Что именно подразумевается под «сглаженным»?
Джулиан
1
@Julian Значения ответа сглаживаются относительно двух пространственных координат. Или, другими словами, пространственный эффект оценивается как гладкая двумерная функция. Под гладким мы подразумеваем некоторую волнистость, измеренную интегрированной квадратом второй производной сплайна. Шаткость выбрана, чтобы сбалансировать посадку и сложность модели. Если вы хотите знать, как формируются гладкие функции (сплайны), возможно, стоит задать конкретный вопрос.
Гэвин Симпсон,
55

«Пространственная автокорреляция» означает разные вещи для разных людей. Общая концепция, однако, заключается в том, что явление, наблюдаемое в местоположениях может определенным образом зависеть от (a) ковариат, (b) местоположения и (c) его значений в близлежащих местоположениях. (В тех случаях, когда технические определения различаются, речь идет о виде рассматриваемых данных, о том, какой «определенный путь» постулируется и что означает «близлежащий»: все это необходимо сделать количественным, чтобы продолжить.)z

Чтобы увидеть, что может происходить, давайте рассмотрим простой пример такой пространственной модели для описания топографии региона. Пусть измеренная высота в точке будет . Одна из возможных моделей заключается в том, что определенным математическим образом зависит от координат , которые я напишу в этой двумерной ситуации. Позволяя представлять (гипотетически независимые) отклонения между наблюдениями и моделью (которые, как обычно предполагаются, имеют нулевое ожидание), мы можем написатьzy(z)yz(z1,z2)ε

y(z)=β0+β1z1+β2z2+ε(z)

для линейной модели тренда . Линейный тренд (представленный коэффициентами и ) является одним из способов уловить идею о том, что близкие значения и для close to , должен стремиться быть ближе друг к другу. Мы даже можем рассчитать это, учитывая ожидаемое значение размера разницы между и , . Оказывается, математика многоβ1β2y(z)y(z′)zz′y(z)y(z′)E[|y(z)−y(z′)|]проще, если мы используем немного другую меру разницы: вместо этого мы вычисляем ожидаемую квадратическую разницу:

E[(y(z)−y(z′))2]=E[(β0+β1z1+β2z2+ε(z)−(β0+β1z1′+β2z2′+ε(z′)))2]=E[(β1(z1−z1′)+β2(z2−z2)′+ε(z)−ε(z′))2]=E[(β1(z1−z1′)+β2(z2−z2)′)2+2(β1(z1−z1′)+β2(z2−z2)′)(ε(z)−ε(z′))+(ε(z)−ε(z′))2]=(β1(z1−z1′)+β2(z2−z2)′)2+E[(ε(z)−ε(z′))2]

Эта модель не содержит явной пространственной автокорреляции, поскольку в ней нет термина, напрямую связывающего с близлежащими значениями .y(z)y(z′)

Альтернативная, отличная модель игнорирует линейный тренд и предполагает только наличие автокорреляции. Одним из способов сделать это является структура отклонений . Мы можем утверждать, чтоε(z)

y(z)=β0+ε(z)

и, чтобы учесть наше ожидание корреляции, мы примем некоторую «ковариационную структуру» для . Чтобы это было пространственно значимым, мы примем ковариацию между и , равную поскольку имеет нулевое среднее значение, имеет тенденцию уменьшаться по мере того, как и становятся все более и более удаленными. Поскольку детали не имеют значения, давайте просто назовем эту ковариацию . Это пространственная автокорреляция.εε(z)ε(z′)E[ε(z)ε(z′)]εzz′C(z,z′) Действительно, (обычно Pearson) корреляция между и являетсяy(z)y(z′)

ρ(y(z),y(z′))=C(z,z′)C(z,z)C(z′,z′).

В этих обозначениях предыдущая ожидаемая квадратичная разница для первой моделиy

E[(y(z)−y(z′))2]=(β1(z1−z1′)+β2(z2−z2)′)2+E[(ε(z)−ε(z′))2]=(β1(z1−z1′)+β2(z2−z2)′)2+C1(z,z)+C1(z′,z′)

(при условии ), поскольку предполагается, что в разных местах независимы. Я написал вместо чтобы указать, что это ковариационная функция для первой модели.z≠z′εC1C

Когда ковариации не сильно изменяются от одного местоположения к другому (действительно, они обычно предполагаются постоянными), это уравнение показывает, что ожидаемая квадратная разница в увеличивается квадратично с разделением между и . Фактическая сумма увеличения определяется коэффициентами тренда и .εyzz′β0β1

Давайте посмотрим, каковы ожидаемые квадратные различия в для новой модели, модели 2:y

E[(y(z)−y(z′))2]=E[(β0+ε(z)−(β0+ε(z′)))2]=E[(ε(z)−ε(z′))2]=E[ε(z)2−2ε(z)ε(z′)+ε(z′)2]=C2(z,z)−2C2(z,z′)+C2(z′,z′).

Опять же, это ведет себя правильно: поскольку мы полагали, что должен уменьшаться по мере того, как и становятся более разделенными, ожидаемая квадратная разница в «s действительно идет вверх с ростом разделения мест.C2(z,z′)zz′y

Сравнение двух выражений для в двух моделях показывает, что в первой модели играет роль, математически идентичную роли во второй модели. (Там скрывается аддитивная константа, скрытая в разных значениях , но это не имеет значения в этом анализе.) Следовательно , в зависимости от модели, пространственная корреляция обычно представляется как некоторая комбинация тренда и обусловленной структуры корреляции случайных ошибок.( β 1 ( z 1 - z ′ 1 ) + β 2 ( z 2 - z 2 ) ′ ) 2 - 2 C 2 ( z , z ′ ) C i ( z , z )E[(y(z)−y(z′))2](β1(z1−z1′)+β2(z2−z2)′)2−2C2(z,z′)Ci(z,z)

Теперь у нас есть, я надеюсь, четкий ответ на вопрос: можно представить идею, лежащую в основе Закона географии Тоблера («все связано со всем остальным, но более близкие вещи связаны») по-разному. В некоторых моделях закон Тоблера адекватно представлен включением трендов (или «дрейфующих» терминов), которые являются функциями пространственных координат, таких как долгота и широта. В других закон Тоблера захватывается с помощью нетривиальной ковариационной структуры среди аддитивных случайных членов (ε). На практике модели включают оба метода. Какой из них вы выберете, зависит от того, чего вы хотите достичь с помощью модели, и от вашего взгляда на то, как возникает пространственная автокорреляция - подразумевается ли она базовыми тенденциями или отражает изменения, которые вы хотите считать случайными. Ни один из них не всегда прав, и в любой конкретной проблеме часто возможно использовать оба вида моделей для анализа данных, понимания явления и прогнозирования его значений в других местах (интерполяция).

Whuber
источник
2
+1 - приятно видеть связь между двумя подходами для обработки пространственной зависимости. Отличный ответ, whuber!
Макро
Очень всеобъемлющий, спасибо. Мне понадобится несколько минут, чтобы все обдумать.
Гизоль
6
Если бы все статистические работы были подобного рода, в мире было бы намного больше ясных прикладных статистических работ. Красиво сделано.
Ари Б. Фридман
Правильно ли я понимаю этот ответ, когда получаю из него, что простое добавление X / Y-координат в качестве независимых переменных к любой (?!) модели будет в некоторой степени учитывать пространственную автокорреляцию?
Джулиан,
1
@Julian: мы говорим о создании разных моделей для одних и тех же данных. Если вы включаете координаты X и Y в качестве объясняющих переменных, но в противном случае не учитываете пространственную корреляцию, тогда «пространственная корреляция» не имеет смысла для этой модели, поэтому мы должны быть осторожны с тем, что мы подразумеваем под «учетом пространственной корреляции». Но если мы понимаем ваш вопрос, чтобы спросить, может ли включение координат в качестве объясняющих переменных быть столь же эффективным, как построение модели, в которой пространственная корреляция явно представлена, тогда мой ответ «да, часто так и есть».
whuber
0

Другие ответы хороши. Я просто хотел добавить кое-что о «учете» пространственной автокорреляции. Иногда это утверждение делается более строго по принципу «учета пространственной автокорреляции, не объясняемой ковариатами».

Это может представить обманчивую картину того, что делает пространственное сглаживание. Не похоже, что существует вероятность упорядоченной очереди в вероятности, когда сглаживание терпеливо ждет, пока ковариаты пойдут первыми, а затем сглаживание уничтожит «необъяснимые» части. На самом деле все они получают возможность объяснить данные.

Этот документ с точно названным названием представляет проблему действительно ясно, хотя с точки зрения модели CAR принципы применяются к сглаживанию GAM.

Добавление пространственно коррелированных ошибок может испортить фиксированный эффект, который вы любите

«Решение» в статье заключается в сглаживании остатков вместо сглаживания в пространстве. Это позволит вашим ковариатам объяснить, что они могут. Конечно, есть много приложений, в которых это не будет желательным решением.

ASeaton
источник
-2

Пространственная корреляция - это просто то, как координаты x и y связаны с величиной результирующей поверхности в пространстве. Таким образом, автокорреляция между координатами может быть выражена в терминах функциональных отношений между соседними точками.

Майкл Черник
источник
1
Привет Майкл, спасибо за ответ. Я думаю, я понимаю, что вы сказали, но это, скорее, описание пространственной автокорреляции, а не то, как это объясняется включением координат - хотя, возможно, я упускаю вашу точку зрения. Например, скажем, у меня есть 2 модели, первая (A) с одним термином - вырубка леса как функция расстояния до столицы, а вторая (B) - с расстоянием до столицы, но также широта и долгота срок. Не могли бы вы повторить свой ответ в этом контексте? Возможно, я мог бы понять это лучше.
Гизоль
1
Я думаю, что если в модели нет члена взаимодействия, пространственная автокорреляция между соседними точками равна 0. Если у вас есть член итерации, этот член определяет значение пространственных автокорреляций.
Майкл Черник
4
@ Майкл, пространственная автокорреляция означает, что корреляция между точками зависит от их пространственного расположения. Я думаю, что этот ответ был бы более полезным, если бы вы могли объяснить, почему использование плавной оценки функции с пространственными местоположениями в качестве входных данных объясняет это. На первый взгляд кажется, что подход с гладкой функцией моделирует среднее значение, в то время как пространственная автокорреляция относится к ковариационной структуре. Я знаю, что существует связь между ковариационной функцией гладкого процесса и гладкой оценкой функции, но без этой связи этот ответ кажется неполным.
Макрос
1
@ Майкл, конечно, вы можете видеть, что влияние координат широты / долготы на среднее значение отличается от моделирования корреляций между двумя точками в пространстве ... ОП спросил, как моделировать пространственную автокорреляцию, и я думаю, что часть аргумента - часть, которая объясняет, как именно подгонка гладкой пространственной поверхности (что и будет делать обобщенная аддитивная модель в координатах) моделирует пространственную автокорреляцию. Существует связь между играми и ковариационными функциями (я не знаю достаточно, чтобы быть более точным), но обращение к этим отношениям, кажется, то, что требуется здесь.
Макро
1
@ Марко Я бы взглянул на книгу Саймона Вуда, если вы можете, так как она содержит детали и приводит соответствующую литературу по сглаживанию как бит случайных эффектов.
Гэвин Симпсон