Мой метеоролог точен?

Вопрос, который беспокоил меня некоторое время, и я не знаю, как его решить:

Каждый день мой метеоролог дает процентную вероятность дождя (предположим, что она рассчитана на 9000 цифр, и он никогда не повторял число). Каждый последующий день идет дождь или не идет дождь.

У меня есть годы данных - вероятность против дождя или нет. Учитывая историю этого метеоролога , если он скажет сегодня вечером, что завтрашний шанс дождя - это Х, то каково мое лучшее предположение относительно того, какова вероятность дождя на самом деле?

По сути, вы думаете о модели, в которой истинный шанс дождя, p , является функцией предсказанного шанса q : p = p (q ). Каждый раз, когда делается прогноз, вы наблюдаете одну реализацию переменной Бернулли, имеющей вероятность p (q) успеха. Это классическая схема логистической регрессии, если вы хотите смоделировать истинный шанс как линейную комбинацию базисных функций f1 , f2 , ..., fk ; то есть модель говорит

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

с ошибками iid e . Если вы агностик в отношении формы отношений (хотя, если метеоролог хорош, p (q) - q должно быть достаточно маленьким), рассмотрите возможность использования набора сплайнов для основы. Выходные данные, как обычно, состоят из оценок коэффициентов и оценки дисперсии e . Учитывая любое будущее предсказание q , просто включите значение в модель с оценочными коэффициентами, чтобы получить ответ на свой вопрос (и используйте дисперсию e, чтобы построить интервал предсказания вокруг этого ответа, если хотите).

Эта структура является достаточно гибкой, чтобы включать другие факторы, такие как возможность изменения качества прогнозов с течением времени. Это также позволяет вам проверять гипотезы, такие как p = q (что косвенно утверждает метеоролог).

Сравнение прогноза вероятности для бинарного события (или дискретной случайной величины) может быть выполнено по шкале Бриера

но вы также можете использовать кривую ROC, поскольку любой прогноз вероятности этого типа может быть преобразован в процедуру извещения с изменяющимся порогом. Действительно, вы можете сказать «пойдет дождь», если ваша вероятность больше и оценить пропущенное, ложное обнаружение, истинное открытие и истинные негативы для разных значений .$\tau$$\tau$

Вы должны взглянуть на то, как европейский центр среднесрочного прогноза погоды ( ECMWF делает ).

Когда в прогнозе указано «вероятность выпадения дождя в (районе)» (X процентов), это означает, что численная модель погоды показала количество осадков в X процентах площади за рассматриваемый интервал времени. Например, обычно было бы правильно предсказать «100-процентную вероятность дождя в Северной Америке». Имейте в виду, что модели хорошо предсказывают динамику и плохо предсказывают термодинамику.

Оценка Шиповник подход очень простой и наиболее непосредственно применимо способ проверить точность предсказанного результата против бинарного события.

Не полагайтесь только на формулы ... построите оценки за разные периоды времени, данные, ошибки, [взвешенное] скользящее среднее данных, ошибки ... сложно сказать, что может показать визуальный анализ ... после того, как вы думаете Если вы видите что-то, вы будете лучше знать, какой тип проверки гипотезы выполнять до ПОСЛЕ того, как вы посмотрите на данные.

Показатель Бриера по своей сути предполагает стабильность изменчивости / лежащих в основе распределений погоды и технологий, лежащих в основе моделей прогнозирования, отсутствие линейности, отсутствие смещения, отсутствие изменения смещения ... предполагается, что общий уровень точности / неточности является постоянным. Поскольку климат меняется таким образом, который еще не понят, точность прогнозов погоды будет снижаться; и наоборот, ученые, предоставляющие информацию метеорологу, имеют больше ресурсов, более полных моделей, большей вычислительной мощности, поэтому, возможно, точность прогнозов возрастет. Если посмотреть на ошибки, это скажет что-то о стабильности, линейности и предвзятости прогнозов ... у вас может не хватить данных, чтобы увидеть тенденции; Вы можете узнать, что стабильность, линейность и смещение не являются проблемой. Вы можете узнать, что прогнозы погоды становятся более точными ... или нет.

Как насчет того, чтобы просто сгенерировать данные прогнозы и принять наблюдаемые дроби в качестве вашей оценки для каждого бина?

Вы можете обобщить это для непрерывной модели, взвесив все наблюдения вокруг вашего значения интереса (скажем, прогноз на завтра) по Гауссу и посмотрев, что такое средневзвешенное значение.

Вы можете угадать ширину, чтобы получить заданную долю ваших данных (или, скажем, не менее 100 баллов для хорошей оценки). В качестве альтернативы используйте метод, такой как перекрестная проверка максимального правдоподобия, чтобы получить гауссову ширину.

Вы хотите знать, является ли его прогноз более точным, чем другой прогноз? Если это так, вы можете посмотреть на основные метрики точности для вероятностной классификации, такие как кросс-энтропия, точность / отзыв, кривые ROC и показатель f1.

Определение объективности прогноза - это другое дело. Один из вариантов - посмотреть на калибровку. Из всех дней, когда он говорил, что вероятность дождя будет 90%, примерно 90% из этих дней было дождем? Возьмите все дни, когда у него есть прогноз, а затем объедините их с его оценкой вероятности дождя. Для каждого ведра рассчитайте процентную долю дней, когда на самом деле выпал дождь. Затем для каждого ковша вычерчивают фактическую вероятность дождя против его оценки вероятности дождя. График будет выглядеть как прямая линия, если прогноз хорошо откалиброван.