Почему мы должны использовать t ошибок вместо обычных ошибок?

В этом посте Эндрю Гельмана есть следующий отрывок:

Байесовские модели 50-летней давности кажутся безнадежно простыми (за исключением, конечно, простых задач), и я ожидаю, что сегодняшние байесовские модели будут казаться безнадежно простыми, спустя 50 лет. (Просто для простого примера: мы, вероятно, должны обычно использовать t вместо обычных ошибок практически везде, но мы этого еще не делаем из-за привычки, привычки и математического удобства. Это может быть вескими причинами - в науке как в политике у консерватизма есть много хороших аргументов в его пользу, но я думаю, что в конечном итоге, когда мы освоимся с более сложными моделями, мы будем двигаться в этом направлении.)

Почему мы должны «регулярно использовать t вместо обычных ошибок практически везде»?

Потому что допущение нормальных ошибок - это то же самое, что допущение, что больших ошибок не возникает! Нормальное распределение имеет настолько легкие хвосты, что ошибки за пределами стандартных отклонения имеют очень низкую вероятность, а ошибки за пределами стандартных отклонений фактически невозможны. На практике это предположение редко соответствует действительности. При анализе небольших, аккуратных наборов данных из хорошо спроектированных экспериментов это может не иметь большого значения, если мы проведем хороший анализ остатков. С данными более низкого качества это может иметь гораздо большее значение.$\pm 3$$\pm 6$

При использовании методов, основанных на правдоподобии (или байесовских методах), эффект этой нормальности (как уже было сказано выше, фактически это предположение «нет больших ошибок») заключается в том, чтобы сделать вывод очень мало надежным. На результаты анализа слишком сильно влияют большие ошибки! Это должно быть так, поскольку допущение «нет больших ошибок» вынуждает наши методы интерпретировать большие ошибки как маленькие ошибки, и это может произойти только путем перемещения параметра среднего значения, чтобы уменьшить все ошибки. Один из способов избежать этого - использовать так называемые «надежные методы», см. Http://web.archive.org/web/20160611192739/http://www.stats.ox.ac.uk/pub/StatMeth/Robust. .pdf

Но Эндрю Гельман не пойдет на это, поскольку надежные методы обычно представлены весьма небайесовским способом. Использование t-распределенных ошибок в вероятностных / байесовских моделях - это другой способ получения надежных методов, поскольку -распределение имеет более тяжелые хвосты, чем нормальное, поэтому допускает большую долю больших ошибок. Параметр количества степеней свободы следует фиксировать заранее, а не оценивать по данным, поскольку такая оценка разрушит свойства робастности метода (*) (это также очень сложная проблема, функция вероятности для , число степеней свободы может быть неограниченным, что приводит к очень неэффективным (даже непоследовательным) оценкам).$t$$\nu$

Если, например, вы думаете (боитесь), что 1 из 10 наблюдений может быть «большими ошибками» (более 3 с.д.), то вы можете использовать распределение с 2 степенями свободы, увеличивая это число, если доля больших ошибок считается меньшей.$t$

Я должен отметить, что то, что я сказал выше, относится к моделям с независимыми распределенными ошибками. Также были предложения о многомерном распределении (которое не является независимым) как распределение ошибок. Это propsal сильно критиковали в газете «Новое платье короля: критический анализ многомерный регрессионной модели» Т. С. Бреуша, JC Робертсон и AH Welsh, в Statistica Neerlandica (1997) Vol. 51, № 3, с. 269-286, где они показывают, что многомерное распределение ошибок эмпирически неотличимо от нормального. Но эта критика не влияет на независимую модели. $t$$t$$t$$t$$t$

(*) Одно упоминание об этом - MASS Venables & Ripley - Современная прикладная статистика с S (на странице 110 в 4-м издании).

Дело не только в «более тяжелых хвостах» - существует множество распределений, которые имеют форму колокольчиков и имеют тяжелые хвосты.

Распределение T является последним предиктором гауссовой модели. Если вы делаете предположение Гаусса, но у вас есть ограниченное доказательство, то полученная модель обязательно делает нецентральные масштабные t-распределенные прогнозы. В пределе, поскольку количество имеющихся у вас свидетельств уходит в бесконечность, вы получаете гауссовские прогнозы, поскольку предел распределения t равен гауссову.

Почему это происходит? Потому что с ограниченным количеством доказательств, есть неопределенность в параметрах вашей модели. В случае гауссовой модели неопределенность в среднем просто увеличит дисперсию (т. Е. Апостериорный прогноз для гауссиана с известной дисперсией все еще является гауссовым). Но неуверенность в дисперсии - вот что вызывает тяжелые хвосты. Если модель обучена с неограниченным количеством доказательств, больше нет никакой неопределенности (или среднего значения), и вы можете использовать свою модель, чтобы делать гауссовские прогнозы.

Этот аргумент применим для гауссовой модели. Это также относится к выводимому параметру, вероятности которого являются гауссовыми. Учитывая конечные данные, неопределенность относительно параметра является t-распределенной. Везде, где есть нормальные предположения (с неизвестным средним и дисперсией) и конечные данные, существуют t-распределенные апостериорные прогностические показатели.

Для всех байесовских моделей существуют аналогичные апостериорные предсказательные распределения. Гельман предлагает использовать их. Его опасения будут смягчены достаточными доказательствами.