Я ищу некоторые вероятностные неравенства для сумм неограниченных случайных величин. Я был бы очень признателен, если кто-нибудь может дать мне некоторые мысли.
Моя задача состоит в том, чтобы найти экспоненциальную верхнюю границу вероятности того, что сумма неограниченных случайных величин iid, которые на самом деле являются умножением двух iid Gaussian, превышает некоторое определенное значение, то есть , где , и генерируются из .
Я попытался использовать границу Черноффа, используя функцию генерирования момента (MGF), полученная граница определяется как:
где является ФМГ из . Но граница не такая уж тесная. Основная проблема в моей задаче состоит в том, что случайные величины не ограничены, и, к сожалению, я не могу использовать границу неравенства Хеффдинга.
Я буду счастлив, если вы поможете мне найти какую-то тесную экспоненциальную границу.
Ответы:
Используя черновскую границу, которую вы предложили для некоторого который будет указан позже, где выполняется второе неравенство благодаря для любого . Теперь возьмите и , правая часть становится что дает для любого .s≤1/(2σ2)
Другой путь заключается в прямом применении неравенств концентрации, таких как неравенство Хансона-Райта, или неравенств концентрации для гауссовского хаоса порядка 2, который охватывает интересующую вас случайную величину.
Более простой подход без использования функции, генерирующей момент
Для простоты возьмем (в противном случае можно изменить масштаб, разделив на ).σ=1 σ2
Запись и . Вы запрашиваете верхние границы для .v=(v1,...,vn)T w=(w1,...,wn)T P(vTw>ϵN)
Пусть, Тогда в зависимости от и не зависит от с с степенями свободы.Z=wTv/∥v∥ Z∼N(0,1) v,w ∥v∥2 Z χ2 n
По стандартным оценкам стандартных нормальных и случайных величин Объединение с объединенной границей дает верхнюю границу для вида .χ2 P(|Z|>ϵn/2−−−√)≤2exp(−ϵ2n/4),P(∥v∥>2n−−√)≤exp(−n(2–√−1)2/2). P(vTw>ϵN) 2exp(−ϵ2n/4)+exp(−n(2–√−1)2/2)
источник
Полученная граница имеет порядок как . Я не думаю , что вы можете сделать гораздо лучше для общего . На странице Википедии о переменных продукта распределение имеет вид где - модифицированная функция Бесселя. Из (10.25.3) в списке функций DLMF , , так что для достаточно больших который не даст вам субгауссову оценку.e−ϵ ϵ→∞ ϵ wivi K0(z)/π K0 K0(t)∼e−t/t√ x P(wivi>x)∼∫∞xe−t/t√dt
источник