Можем ли мы сделать вероятностные утверждения с интервалами прогнозирования?

Я прочитал много отличных обсуждений на сайте относительно интерпретации доверительных интервалов и интервалов прогнозирования, но одна концепция все еще немного озадачивает:

Рассмотрим структуру OLS, и мы получили подходящую модель . Нам дали и попросили предсказать его ответ. Мы вычисляем и, в качестве бонуса, мы также предоставляем интервал прогнозирования 95% вокруг нашего прогноза, в виде получения формулы для пределов прогнозирования в линейной модели . Давайте назовем этот интервал прогнозирования PI.$\hat y = X\hat\beta$$x^*$$x^{*T}\hat\beta$

Теперь, что из следующего (или ни одного) является правильной интерпретацией PI?

1. В частности, для лежит в пределах PI с вероятностью 95%.$x^*$$y(x^*)$
2. Если нам дадут большое количество s, эта процедура для вычисления PI будет покрывать истинные ответы в 95% случаев.$x$

Из формулировки @ gung в интервале прогнозирования линейной регрессии кажется, что первое верно (хотя я вполне мог бы неправильно истолковать его). Интерпретация 1 кажется мне нелогичной (в том смысле, что мы делаем байесовские выводы из частотного анализа), но если это правильно, это потому , что мы предсказывали на реализацию случайной величины VS. оценивающего с параметром ?

(Изменить) Бонусный вопрос: предположим, что мы знали, что такое истинная , то есть процесс, генерирующий данные, тогда сможем ли мы говорить о вероятностях в отношении какого-либо конкретного прогноза, поскольку мы просто смотрим на ?$\beta$$\epsilon$

Моя последняя попытка сделать это: мы можем «концептуально разложить» (используя слово очень свободно) интервал прогнозирования на две части: (A) доверительный интервал вокруг предсказанного среднего ответа и (B) набор интервалов, которые являются просто квантильными диапазоны погрешности. (B) мы можем делать вероятностные заявления, при условии, что мы знаем истинное прогнозируемое среднее, но в целом мы можем рассматривать интервалы прогнозирования как частые КИ вокруг прогнозируемых значений. Это несколько правильно?

Во-первых, при использовании слова «вероятность» у часто встречающихся не возникает проблем с использованием слова «вероятность» при прогнозировании чего-то, где случайный фрагмент еще не произошел. Нам не нравится слово вероятность для доверительного интервала, потому что истинный параметр не меняется (мы предполагаем, что это фиксированное, хотя и неизвестное) значение, а интервал фиксирован, потому что он основан на данных, которые мы уже собрали. Например, если наши данные взяты из случайной выборки взрослых людей мужского пола, а x - это их рост, а y - их вес, и мы подходим к общей модели регрессии, тогда мы не используем вероятность, когда говорим о доверительных интервалах. Но если я хочу поговорить о том, какова вероятность того, что мужчина ростом 65 дюймов будет выбран случайным образом из всех мужчин ростом 65 дюймов, имеющих вес в течение определенного интервала,

Поэтому я бы сказал, что ответом на бонусный вопрос является «Да». Если бы мы знали достаточно информации, то мы могли бы вычислить вероятность увидеть значение y в пределах интервала (или найти интервал с желаемой вероятностью).

Для вашего утверждения помечены «1». Я бы сказал, что это нормально, если вы используете слово «приблизительный», когда говорите об интервале или вероятности. Как вы упомянули в бонусном вопросе, мы можем разложить неопределенность на кусочек о центре предсказания и кусочек о случайности вокруг истинного среднего. Когда мы объединяем их, чтобы покрыть всю нашу неопределенность (и при условии, что у нас правильная модель / нормальность), у нас будет интервал, который будет иметь тенденцию быть слишком широким (хотя может быть и слишком узким), поэтому вероятность появления новой случайно выбранной точки попадание в интервал прогнозирования не будет точно 95%. Вы можете увидеть это с помощью симуляции. Начните с известной регрессионной модели со всеми известными параметрами. Выберите образец (по многим значениям x) из этого отношения, поместите регрессию, и вычислить интервал (ы) прогнозирования. Теперь снова сгенерируйте большое количество новых точек данных из истинной модели и сравните их с интервалами прогнозирования. Я сделал это несколько раз, используя следующий код R:

x <- 1:25
y <- 5 + 3*x + rnorm(25, 0, 5)
plot(x,y)

fit <- lm(y~x)
tmp <- predict(fit, data.frame(x=1:25), interval='prediction')

sapply( 1:25, function(x){ 
    y <- rnorm(10000, 5+3*x, 5)
    mean( tmp[x,2] <= y & y <= tmp[x,3] )
})

Я запускал приведенный выше код несколько раз (около 10, но я не вел тщательный подсчет), и большую часть времени доля новых значений, попадающих в интервалы, находилась в диапазоне от 96% до 98%. У меня был один случай, когда предполагаемое стандартное отклонение было очень низким, когда пропорции были в диапазоне от 93% до 94%, но все остальные были выше 95%. Поэтому я был бы рад вашему заявлению 1 с изменением на «примерно 95%» (при условии, что все предположения верны или достаточно близки, чтобы их можно было охватить приблизительно).

Точно так же утверждение 2 нуждается в «приблизительно» или подобном, потому что для покрытия нашей неопределенности мы собираем в среднем более 95%.

Второе лучше. Первое зависит от того, какая другая информация известна.

Используя случайный пример, это правда, что «95% интервалов (с доверительной вероятностью 95%) будут включать в себя истинное среднее значение [insert variable]».

С другой стороны, если результат явно нелогичен, мы не можем утверждать (1).

Например, «мой тест значимости на 95% достоверности показывает, что рост и вес отрицательно коррелируют». Ну, это, очевидно, неверно, и мы не можем сказать, что существует «95% вероятность, что это правда». На самом деле, принимая во внимание предшествующее знание, очень малая вероятность того, что это правда. Это, однако, можно утверждать , что «95% таких тестов бы дали правильный результат.»