Имеет ли семейство распределения другое определение статистики, чем в других дисциплинах?
В общем, семейство кривых - это набор кривых, каждая из которых задается функцией или параметризацией, в которой один или несколько параметров варьируются. Такие семейства используются, например, для характеристики электронных компонентов .
Для статистики семейство в соответствии с одним источником является результатом изменения параметра формы. Как тогда мы можем понять, что гамма-распределение имеет параметр формы и масштаба, и, кроме того, только обобщенное гамма-распределение имеет параметр местоположения? Делает ли это семью результатом изменения параметра местоположения? Согласно @whuber значение семейства подразумевается неявно . «Параметризация» семейства - это непрерывное отображение из подмножества ℝ n с его обычной топологией в пространство распределений, образ которого является этим семейством.
Что на простом языке означает семья для статистических распределений?
Вопрос об отношениях между статистическими свойствами распределений из одного и того же семейства уже породил значительное противоречие с другим вопросом, поэтому представляется целесообразным изучить его значение.
То, что это не обязательно простой вопрос, вытекает из его использования во фразе экспоненциального семейства , которое не имеет ничего общего с семейством кривых, но связано с изменением формы PDF распределения путем репараметризации не только параметров , но также подстановка функций независимых случайных величин.
источник
Ответы:
Статистические и математические концепции абсолютно одинаковы, понимая, что «семья» - это общий математический термин с техническими вариациями, адаптированными к различным обстоятельствам:
Остальная часть этого поста объясняет, что это значит. Кроме того, я не думаю, что что-либо из этого является спорным, ни математически, ни статистически (кроме одной незначительной проблемы, которая отмечена ниже). В поддержку этого мнения я привел много ссылок (в основном на статьи Википедии).
Эта терминология «семейств» имеет тенденцию использоваться при изучении классов функций в виде множества Y или «отображений». Учитывая область X , А семейство F отображений на X параметрироваться на некотором множестве thetas ; ( «параметры») является функцияCY Y X F X Θ
для которых (1) для каждого & ; , функция F θ : X → Y задается F & thetas ; ( х ) = Р ( х , θ ) в C Y и (2) Р сама по себе имеет некоторые "хорошие" свойства.θ∈Θ Fθ:X→Y Fθ(x)=F(x,θ) CY F
Идея состоит в том, что мы хотим варьировать функции от до Y «плавным» или контролируемым образом. Свойство (1) означает, что каждая θ обозначает такую функцию, в то время как детали свойства (2) будут охватывать тот смысл, в котором «небольшое» изменение θ вызывает достаточно «небольшое» изменение F θ .X Y θ θ Fθ
Стандартный математический пример, близкий к упомянутому в вопросе, является гомотопией . В этом случае - категория непрерывных отображений из топологических пространств X в топологическое пространство Y ; Θ = [ 0 , 1 ] ⊂ R единичный интервал с его обычной топологией, а также потребовать , чтобы Р быть непрерывное отображением из топологического произведения X × thetas ; в Y . Это можно рассматривать как «непрерывную деформацию карты FCY X Y Θ=[0,1]⊂R F X×Θ Y до F 1. "Когда X = [ 0 , 1 ] сам является интервалом, такие отображения являютсякривымив Y, а гомотопия представляет собой плавную деформацию от одной кривой к другой.F0 F1 X=[0,1] Y
Для статистических приложений - это множество всех распределений на R (или на практике на R n для некоторого n , но для простоты изложения я сосредоточусь на n = 1 ). Мы можем отождествить его с набором всех неубывающих функций Кадляга R → [ 0 , 1 ], где замыкание их диапазона включает в себя как 0, так и 1 : это кумулятивные функции распределения или просто функции распределения. Таким образом, X = R иCY R Rn n n=1 R→[0,1] 0 1 X=R .Y=[0,1]
Семейство распределений является любое подмножество .CY Другое название семьи - статистическая модель. Он состоит из всех распределений, которые, как мы полагаем, управляют нашими наблюдениями, но в противном случае мы не знаем, какое распределение является действительным.
Эти абстрактные теоретико-множественные характеристики представляют относительно небольшой интерес или полезность. Только когда мы рассматриваем дополнительную (соответствующую) математическую структуру на , эта концепция становится полезной. Но какие свойства C Y представляют статистический интерес? Некоторые, которые появляются часто:CY CY
-выпуклое множество: для любых двух распределений F , G ∈ C Y мы можем сформироватьраспределение смеси(1-t) F +t G ∈Yдля всехt∈[0,1]. Это своего рода «гомотопности» отFкG.CY F,G∈CY (1−t)F+tG∈Y t∈[0,1] F G
Большие части поддерживают различные псевдометрики, такие как расхождение Кульбака-Лейблера или тесно связанная метрика информации Фишера.CY
имеет аддитивную структуру: соответствующая любых двух распределенийFиGявляется их суммой, Р ⋆ С .CY F G F⋆G
поддерживает много полезных, естественных функций, часто называемых «свойствами». К ним относятся любой фиксированный квантиль (например, медиана), а такжекумулянты.CY
является подмножествомфункционального пространства. Как таковой, он наследует много полезных метрик, таких какsup-норма( L ∞- норма), заданная как | | F-G | | ∞ = sup x ∈ R | F(x)-G(x) | ,CY L∞
Естественные действия группы на индуцируют действия на C Y . Наиболее распространенными действиями являются трансляции T μ : x → x + μ и масштабирования S σ : x → x σ для σ > 0 . Влияние, которое они оказывают на распределение, заключается в отправке F в распределение, определяемое как F μ , σ ( x ) = F ( ( x - μ )R CY Tμ:x→x+μ Sσ:x→xσ σ>0 F . Это приводит к понятиям семейства масштаба и их обобщений. (Я не предоставляю ссылку, потому что обширные поиски в Интернете приводят к множеству различных определений: здесь, по крайней мере, может быть немного противоречий.)Fμ,σ(x)=F((x−μ)/σ)
Важные свойства зависят от статистической проблемы и от того, как вы собираетесь анализировать данные. Рассмотрение всех вариантов, предложенных предыдущими характеристиками, заняло бы слишком много места для этой среды. Давайте сосредоточимся на одном общем важном приложении.
Взять, к примеру, Максимальное правдоподобие. В большинстве приложений вы захотите использовать исчисление для получения оценки. Чтобы это работало, вы должны уметь «брать дериваты» в семье.
( Технический стороне: Обычный способ , в котором это достигается заключается в выборе домена & для D ≥ 0 и указать непрерывный, локально обратимое функцию р из & thetas в C Y (это означает , что для каждого. & Thetas ; ∈ & thetas ; есть существует шар B ( θ , ϵ ) с ϵ > 0, для которого p ∣ B ( θ , ϵ ) :Θ⊂Rd d≥0 p Θ CY θ∈Θ B(θ,ϵ) ϵ>0 взаимно однозначно. Другими словами, если мы изменим θ на достаточно малую величину, мы всегда получим другое распределение.))p∣B(θ,ϵ):B(θ,ϵ)∩Θ→CY θ
Следовательно, в большинстве приложений ML мы требуем , чтобы быть непрерывным (и , надеюсь, дифференцируема почти всюду) в & thetas компонента. (Без преемственности максимизация вероятности обычно становится неразрешимой проблемой.) Это приводит к следующему ориентированному на вероятность определению параметрического семейства :p Θ
Обратите внимание, что параметрическое семейство - это больше, чем просто набор F θ : оно также включает конкретный способ, которым значения параметра θ соответствуют распределениям.F Fθ θ
Давайте в итоге приведем несколько иллюстративных примеров.
Пусть - множество всех нормальных распределений. Как дано, это не параметрическая семья: это просто семья. Чтобы быть параметрическим, мы должны выбрать параметризацию. Одним из способов является выбор Θ = { ( μ , σ ) ∈ R 2 ∣ σ > 0 } и отображение ( μ , σ ) на нормальное распределение со средним μ и дисперсией σ 2 .CY Θ={(μ,σ)∈R2∣σ>0} (μ,σ) μ σ2
Множество пуассоновских распределений(λ) представляет собой параметрическое семейство с .λ∈Θ=(0,∞)⊂R1
источник
Для решения конкретной проблемы, поднятой в вопросе: «экспоненциальное семейство» не обозначает набор распределений. (Стандартное, скажем, экспоненциальное распределение является членом семейства экспоненциальных распределений, экспоненциального семейства; семейства гамма-распределений, также экспоненциального семейства; семейства распределений Вейбулла, а не экспоненциального семейства; & любого числа о других семьях, о которых вы могли бы мечтать.) Скорее, «экспоненциальный» здесь относится к собственности, которой владеет семья распределений. Поэтому мы должны говорить не о «распределениях в экспоненциальном семействе», а о «экспоненциальных семействах распределений» - первое - это злоупотребление терминологией, как указывает @JuhoKokkala. По какой-то причине никто не совершает это насилие, когда речь идет о семьях масштаба.
источник
Благодаря @whuber достаточно информации, чтобы подвести итог, я надеюсь, в более простой форме, касающейся вопроса, из которого возник этот пост. «Другое название семьи [ Sic , статистическая семья] - [ статистическая модель ] ».
Thus, if we reduce the dimensionality by assigning, for the example above,μ=0 , we can show a family of curves by plotting σ=1,2,3,4,5 or whatever choices for σ .
источник