Сомнительное использование принципов обработки сигналов для определения тенденции

10

Я предлагаю попытаться найти тенденцию в некоторых очень шумных долгосрочных данных. Данные в основном представляют собой еженедельные измерения чего-то, что переместилось на 5 мм за период около 8 месяцев. Данные с точностью до 1 мм и очень шумные, регулярно меняются +/- 1 или 2 мм в неделю. У нас есть только данные до ближайшего мм.

Мы планируем использовать некоторую базовую обработку сигналов с быстрым преобразованием Фурье, чтобы отделить шум от необработанных данных. Основное предположение состоит в том, что если мы зеркально отобразим наш набор данных и добавим его в конец существующего набора данных, мы сможем создать полную длину волны данных, и поэтому наши данные будут отображаться в быстром преобразовании Фурье, и мы надеемся, что затем отделим их ,

Учитывая, что это звучит немного сомнительно для меня, стоит ли этот метод очищать или метод зеркального отображения и добавления нашего набора данных каким-то принципиально ошибочным? Мы рассматриваем и другие подходы, такие как использование фильтра низких частот.

Ян Тернер
источник
Как насчет медленного (стандартного) преобразования Фурье.
Являются ли эти дифференциально-исправленные GPS-измерения движения плиты случайно?
whuber
Это были фактически движения туннеля, пока вокруг него шли строительные работы. Мы ожидали, что движение будет очень приблизительно следовать кривой S в течение периода мониторинга.
Ян Тернер

Ответы:

9

Для меня это выглядит странно, так как оценка тренда будет смещена около точки, где вы склеиваете ложные данные. Альтернативный подход - сглаживание непараметрической регрессии, такое как лёсс или сплайны.

Роб Хиндман
источник
8

Если вы хотите отфильтровать долгосрочный тренд с помощью обработки сигналов, почему бы не использовать низкочастотный диапазон?

Самая простая вещь, о которой я могу подумать, это экспоненциальная скользящая средняя.

Джеймс Рот
источник
Мы посмотрели на это. Работало хорошо, но в этом случае шум все еще казался слишком сильным, и если мы изменили параметры, чтобы выровнять распределения достаточно, оказалось, что тенденция слишком сильно затухла. Может быть, в этом случае просто нет решения для данных, и это просто слишком шумно.
Ян Тернер
1
Экспоненциально взвешенные скользящие средние являются частным случаем сглаживания ядра (при условии, что вы использовали двухстороннюю скользящую среднюю, а не одностороннюю). Лучшими оценками, которые являются обобщениями этого, являются лесс или сплайны - см. Мой ответ.
Роб Хиндман
7

Я думаю, что вы можете получить некоторые искажения в точке вставки, поскольку не все нижележащие волны будут соединяться очень хорошо.

Я бы предложил использовать для этого преобразование Гильберта Хуанга. Просто выполните разбиение на функции встроенного режима и посмотрите, что осталось при расчете.

Питер Смит
источник
7

Вы можете использовать (быстрое :)) дискретное вейвлет-преобразование . Пакет wavethresh под R сделает всю работу. Во всяком случае, мне нравится решение @James, потому что оно простое и, кажется, идет прямо к делу.

Робин Жирар
источник
Согласовано; вейвлеты отлично подходят для выявления нестационарного поведения при большом количестве шума. Вы должны быть осторожны с DWT, хотя. Он не зависит от вращения (хотя существуют модификации DWT, см., Например, Percival и Walden 2000), поэтому вы можете потерять резкие переходные процессы в зависимости от начальной точки для ваших данных. Кроме того, большинство реализаций DWT делают неявную циклизацию данных, поэтому вам все равно придется это контролировать.
Богатое
Если у меня хорошая память, пакет wavethresh содержит перевод-шумоподавление (моя ссылка была Coifman 1995) (Обратите внимание, что вы говорили о ротации, разве мы не говорим о временных сигналах?).
Робин Жирар
Вы говорите о MODWT (дискретное вейвлет-преобразование с максимальным перекрытием)?
RockScience
@fRed: нет, вот статья, Койфман и Донохо: citeseerx.ist.psu.edu/viewdoc/…
Робин Джирард,
4

Большую часть времени, когда я слышу «долгосрочные тренды», я думаю о долгосрочных восходящих или долгосрочных нисходящих тенденциях, ни один из которых должным образом не отражается преобразованием Фурье. Такие односторонние тенденции лучше анализировать с помощью линейной регрессии . (Преобразования Фурье и периодограммы больше подходят для вещей, которые идут вверх и вниз).

Линейная регрессия легко сделать в большинстве электронных таблиц. (а) Показать уравнения для линий регрессии (б) Создание XY-диаграмм рассеяния с помощью электронных таблиц

Линейная регрессия пытается аппроксимировать ваши данные прямой линией. Преобразования Фурье пытаются аппроксимировать ваши данные с помощью нескольких синусоид, сложенных вместе. Существуют другие методы («нелинейная регрессия»), которые пытаются приблизить ваши данные к полиномам или другим формам.

Дэвид Кэри
источник
2

Преобразование Фурье предполагает стационарность сигнала в широком смысле и линейную временную инвариантность (LTI). Несмотря на то, что оно устойчиво к некоторым нарушениям этих условий, я не думаю, что оно подходит для анализа тенденций из-за предположения о стационарности, то есть вы пытаетесь измерить что-то, что нарушает одно из основных допущений БПФ.

Я бы согласился с постерами выше; зеркальное отражение ваших данных и добавление зеркальных данных в конец вашего временного ряда является хитрым. Я хотел бы предположить, что согласование модели линейной регрессии с временной тенденцией, как упомянуто выше, вероятно, более уместно

Если вы хотите изучить периодичность, вы можете удалить тренд с помощью фильтрации верхних частот и анализа Фурье. Если тренд остается видимым после фильтрации, вы можете вычесть подогнанную линию линейной регрессии из исходного сигнала до FFT.

BGreene
источник