Проверка на статистически значимый пик

У меня есть набор данных, и . Я хотел бы проверить следующую гипотезу: есть пик ; то есть, когда увеличивается, сначала увеличивается, а затем уменьшается. $y$ $x$ $y$ $x$ $y$

Моей первой идеей было подгонка и в зеркалке. То есть, если я обнаружу, что коэффициент до существенно положительный, а коэффициент до значительно отрицательный, я получу поддержку гипотезы. Однако это проверяет только один тип отношений (квадратичный) и может не обязательно отражать существование пика. $x$ $x^2$ $x$ $x^2$

Затем я подумал о том, чтобы найти , такую область (отсортированных значений) , что находится между и , две другие области которые содержат как минимум столько же точек, что и , и что и значительно. Если гипотеза верна, мы должны ожидать много таких областей . Таким образом, если число достаточно велико, гипотеза должна быть подтверждена. $b$ $x$ $b$ $a$ $c$ $x$ $b$ $\bar{y_b}>\bar{y_a}$ $\bar{y_b}>\bar{y_c}$ $b$ $b$

Как вы думаете, я на правильном пути, чтобы найти подходящий тест для моей гипотезы? Или я изобрел колесо, и существует установленный метод для этой проблемы? Я буду очень признателен за ваш вклад.

ОБНОВИТЬ. Моя зависимая переменная это количество (неотрицательное целое число). $y$

regression statistical-significance curves Никита Самойлов
источник

Есть ли плавно меняться в зависимости от ? Если это так, вы можете попробовать подобрать модель, включающую сглаживатель (скажем, GAM), а затем вычислить первые производные от сглаженного сглаживания и их доверительный интервал. Если производная значимо увеличивается, то, если она уменьшается, у вас есть ответ.

y

$y$

x

$x$

Восстановить Монику - Дж. Симпсон

Ответы:

Я тоже думал о сглаживающей идее. Но есть целая область, называемая методологией поверхности отклика, которая ищет пики в зашумленных данных (в первую очередь это касается использования локальных квадратичных подгонок к данным), и была известная статья, которую я помню с «Охотой на удар» в названии. Вот несколько ссылок на книги по методологии поверхности отклика. Книги Рэя Майера особенно хорошо написаны. Я попытаюсь найти бумагу для охоты на кочек.

Методология поверхности отклика: оптимизация процесса и продукта с использованием разработанных экспериментов

Методология поверхности отклика и смежные вопросы

Методология поверхности отклика

Эмпирическое моделирование и ответные поверхности

Хотя это не та статья, которую я искал, вот очень актуальная статья Джерри Фридмана и Ника Фишера, в которой рассматриваются эти идеи, применяемые к многомерным данным.

Вот статья с некоторыми онлайн-комментариями.

Надеюсь, вы по крайней мере оцените мой ответ. Я думаю, что ваши идеи хороши и находятся на правильном пути, но да, я действительно думаю, что вы, возможно, изобретаете колесо, и я надеюсь, что вы и другие посмотрите на эти прекрасные рекомендации.

Майкл Р. Черник
источник

Я не был среди downvoters, но ответы на сайтах SE, как ожидается, будет больше, чем ссылка на контент. Обобщение контента или предоставление краткого ответа с последующими ссылками на контент для получения более подробной информации было бы лучше.

Восстановить Монику - Дж. Симпсон

Я голосую за это, потому что (1) это хорошая идея; (2) у него есть некоторые комментарии; и (3) он поддерживается некоторыми тщательно отобранными ссылками, в том числе на свободно доступный материал. Да, это выглядит типично плохо, потому что ссылки могут быть более красиво отформатированы: но я надеюсь, что люди не принимают во внимание этот аспект ответов в своих решениях при голосовании!

whuber

@whuber Я согласен после того, как смог прочитать его из-за хорошего форматирования Procastinator. +1 тоже. Я думаю, что здесь достаточно резюме, и некоторые темы почти слишком сложны для чего-то большего, чем фундаментальная идея и ссылка для дальнейшего чтения.

Эрик

@MichaelChernick Обратите внимание , что не была критика со мной, просто предлагая причину , почему люди могли бы вниз проголосовали. Я не согласился бы с ними, если бы это было причиной, потому что я думаю, что ваш ответ точен, особенно с PRIM; Я только что проконсультировался со своей Hastie и соавторами (2009) относительно того, что говорится в PRIM. Возможно, вы захотите добавить эту ссылку к ответу, так как там есть два раздела о PRIM и PDF-файл доступен бесплатно.

Восстановить Монику - Дж. Симпсон

@Nikita Какую формальную статистическую гипотезу вы хотите проверить? Сначала вы должны найти пики, которые являются большой частью этого. Вы проверяете, что пик - это не просто шум? Я не уверен, какая литература существует для решения этой проблемы, но я думаю, что вы могли бы подогнать полиномиальную регрессию к данным (возможно, квадратичную локально). Исходя из этого, вы получите оценку остаточной дисперсии. Статистическая значимость квадратичного члена будет проверкой значимости пика.

Майкл Р. Черник

Даже если вы не ответили на мой вопрос, если мое предположение верно, вы ищете тест белого шума, который в частотной области показывает, что спектр плоский. Таким образом, можно использовать тест периодограммы Фишера, который в этой ссылке называется каппа Фишера. Смотрите ссылку.

http://www4.stat.ncsu.edu/~dickey/Spain/pdf_Notes/Spectral2.pdf

Тест Бартлетта также упоминается в ссылке. Теперь отвергнуть нулевую гипотезу - значит найти значительный пик на периодограмме. Это будет означать, что периодический компонент существует во временном ряду.

Поскольку тест находится в частотной области и включает ординаты периодограммы, ордината имеет распределение хи-квадрат 2 при нулевой гипотезе и является независимой. Это специальное распределение происходит только из-за преобразования в частотную область. Если бы x было временем, это не сработало бы во временной области или в общем случае распределение ys не было бы независимым хи-квадрат.

$_m$

Майкл Р. Черник
источник

y

$y$

Итак, у есть данные счета и что такое непрерывная пояснительная переменная? Мои предыдущие предложения, вероятно, не в этом случае, но есть много недавней литературы по моделям подсчета. Так что, если вы можете быть немного более конкретным в отношении данных и проблемы, может быть, я могу указать на решение.

Майкл Р. Черник

y

$y$

x

$x$

Я не уверен, поможет ли это или нет, но Кэмерон и Триведи опубликовали книгу о моделях регрессии счета и выпустили второе издание в 2013 году. Вот ссылка с некоторой информацией: cameron.econ.ucdavis.edu/racd/count .html

Майкл Р. Черник