Асимптотическое распределение полинома

10

Я ищу предельное распределение полиномиального распределения по результатам d. IE, распределение следующее

limnn12Xn

Где Xn - случайная величина векторного значения с плотностью fn(x) для x такой, что ixi=n , xiZ,xi0 и 0 для всех остальных x , где

fn(x)=n!i=1dpixixi!

Я нашел одну форму в теореме Ларри Вассермана «Вся статистика» 14.6, стр. 237, но для ограничения распределения он дает Normal с сингулярной ковариационной матрицей, поэтому я не уверен, как это нормализовать. Вы можете проецировать случайный вектор в (d-1) -мерное пространство, чтобы сделать ковариационную матрицу полноценной, но какую проекцию использовать?

Обновление 11/5

Рэй Купман имеет хорошее резюме проблемы сингулярного Гаусса. По сути, сингулярная ковариационная матрица представляет собой идеальную корреляцию между переменными, которую невозможно представить с помощью гауссиана. Однако можно получить гауссовское распределение для условной плотности, обусловленное тем, что значение случайного вектора является действительным (компоненты складываются в в случае выше).n

Разница для условного гауссова в том, что обратное заменяется псевдообратным, а коэффициент нормализации использует «произведение ненулевых собственных значений» вместо «произведение всех собственных значений». Ян Фрис дает ссылку с некоторыми подробностями.

Есть также способ выразить коэффициент нормализации условного гауссова без ссылки на собственные значения, вот вывод

Ярослав Булатов
источник
Что именно вы подразумеваете под ограничением распространения в этом случае?
Робби МакКиллиам
то есть тот, который вы получаете из центральной предельной теоремы, позвольте мне обновить детали
Ярослав Булатов
1
То, что вы имеете в виду, это асимптотическое распределение оценки максимального правдоподобия полинома. Кроме того, первое уравнение должно быть n ^ {- 1}, а не n ^ {- 1/2}.
Саймон Бирн
1
В обозначениях выше, для d = 2, X_n - это количество голов после n бросков монет, так что X_n / sqrt (n) подходит к Normal, а не X_n / n, нет?
Ярослав Булатов
1
Да, ты прав. Я просто запутался.
Саймон Бирн

Ответы:

6

Ковариация все еще неотрицательно определена (как и действительное многомерное нормальное распределение ), но не положительно определена: это означает, что (по крайней мере) один элемент случайного вектора является линейной комбинацией других.

В результате любой вывод из этого распределения всегда будет лежать в подпространстве . Как следствие, это означает, что невозможно определить функцию плотности (поскольку распределение сконцентрировано на подпространстве: подумайте о том, как одномерная норма сконцентрируется на среднем значении, если дисперсия равна нулю).Rd

Однако, как предполагает Робби МакКиллиам, в этом случае вы можете отбросить последний элемент случайного вектора. Ковариационная матрица этого уменьшенного вектора будет исходной матрицей с опущенным последним столбцом и строкой, которая теперь будет положительно определенной и будет иметь плотность (этот прием будет работать в других случаях, но вы должны быть осторожны, какой элемент вы отбрасываете, и вам может понадобиться отбросить более одного).

Саймон Бирн
источник
Что является немного неудовлетворительным, так это свобода выбора, чтобы получить действительную плотность, мне нужно запросить распределение A x, где A - некоторая матрица ранга d-1 (d) x (d-1). Будет ли погрешность CLT-аппроксимации для конечного n эквивалентной для всех вариантов выбора A? Это мне не понятно
Ярослав Булатов
1
Да, ошибка всегда должна быть одинаковой. Имейте в виду, что последний элемент вектора функционально зависит от других (d-1) элементов (как в конечной выборке, так и в асимптотических случаях).
Саймон Бирн
Дело не в том, что «последний» элемент является зависимым, проблема Ярослава в том, что ему не нравится идея выбирать, какой элемент отбрасывать. Я согласен с ответом, который вы дали, но я также думаю, что здесь требуется больше внимания и заботы.
Робби МакКиллиам
@ Ярослав: Возможно, было бы хорошо иметь представление о том, какое приложение вы здесь имеете в виду, потому что на данном этапе потенциально много ответов на ваш вопрос.
Робби МакКиллиам
1
Робби - приложение, которое я имел в виду, находится здесь mathoverflow.net/questions/37582/… По существу, интегралы гауссиана, предложенные CLT, дают чрезвычайно хорошее приближение к суммам биномиальных коэффициентов (для малых n, даже лучше, чем непосредственное интегрирование гамма-представления!), поэтому я проверял, могу ли я сделать что-то похожее, чтобы получить приблизительные суммы многочленных коэффициентов, которые мне нужны, чтобы получить не асимптотические оценки ошибок для различных сборщиков (например, с максимальной вероятностью)
Ярослав Булатов
2

Здесь нет врожденной проблемы с единственной ковариацией. Ваше асимптотическое распределение является сингулярной нормалью. См. Http://fedc.wiwi.hu-berlin.de/xplore/tutorials/mvahtmlnode34.html, в котором приведена плотность единственного нормаля.

Ян Фиске
источник
Технически проблема состоит в том, что сингулярная ковариационная матрица означает, что некоторое подмножество переменных идеально коррелируется, поэтому плотность вероятности должна быть точно равна 0 в некоторых областях, но это невозможно с гауссовским. Одно из решений состоит в том, чтобы вместо этого взглянуть на условную плотность, обусловленную тем фактом, что случайная величина находится в допустимой области. Это похоже на то, что они делают в ссылке. Никогда не слышал термин «G-обратный», я предполагаю, что это псевдообратный Пенроуза-Мура?
Ярослав Булатов
Хотя верно, что обычный d-мерный гауссиан имеет поддержку на всех , единственный гауссиан не имеет. G-инверсия обобщенно инверсна, и да, я считаю, что здесь работает определение Пенроуза-Мура. Я думаю, что есть CLT для сингулярных ковариаций, заявляя, как и ожидалось, сходимость в распределении к единственному CLT, хотя сейчас я не могу найти ссылку. d
Ян Фиске
1

Мне кажется, что ковариационная матрица Вассермана является сингулярной, чтобы увидеть, умножить ее на вектор из , т.е. [ 1 , 1 , 1 , , 1 ] длины d .d[1,1,1,,1]d

Википедия в любом случае дает одну и ту же ковариационную матрицу. Если мы ограничимся только биномиальным распределением, то стандартная центральная предельная теорема говорит нам, что биномиальное распределение (после соответствующего масштабирования) сходится к нормальному, когда становится большим (см. Википедию снова ). Применяя аналогичные идеи, вы должны показать, что надлежащим образом масштабированный многочлен будет сходиться по распределению к многомерной нормали, т.е. каждое предельное распределение является просто биномиальным и сходится к нормальному распределению, и дисперсия между ними известна.n

Итак, я очень уверен, что вы обнаружите, что распределение

Xnnpn
Cn
Cp[p1,,pd]
Робби МакКиллиам
источник
1
но ковариационная матрица рассматриваемого полинома сингулярна, вы показали это сами ...
Ярослав Булатов
dC[p1,p2,,pd1]
Одно из предложений, которое я нашел, состоит в том, чтобы по-прежнему использовать гауссиан, но вместо псевдообращения использовать вместо псевдообратного и «произведение ненулевых собственных значений» вместо определителя. Для d = 2 это, кажется, дает правильную форму плотности, но коэффициент нормализации выключен
Ярослав Булатов
1

|Si|=|Sj|i,jSii

jvdillon
источник
Эти матрицы не равны, вот ковариационная матрица yaroslavvb.com/upload/multinomial-covariance-matrix.png
Ярослав Булатов
Да, это действительно ковариационная матрица. Моя точка зрения - удаление любого i-го столбца и строки в одном и том же члене нормализации для гауссиана. Возможно, я упускаю что-то очевидное?
Jvdillon
n
pi=1jipjpiS
Кстати, мне нравится ваше применение этой идеи - отсюда мой интерес к ответу.
Jvdillon