В духе этого вопроса Понимая доказательство леммы, используемой в неравенстве Хеффдинга , я пытаюсь понять шаги, которые приводят к неравенству Хеффдинга.
Что является для меня самым загадочным в доказательстве, так это то, что экспоненциальные моменты вычисляются для суммы переменных iid, после чего применяется неравенство Маркова.
Моя цель состоит в том, чтобы понять: почему этот метод дает жесткое неравенство и является ли он самым трудным для достижения? Типичное объяснение относится к моменту, генерирующему свойства показателя степени. Тем не менее, я нахожу это слишком расплывчатым.
Сообщение в блоге Тао, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , может содержать некоторые ответы.
Учитывая эту цель, мой вопрос касается трех пунктов в посте Дао, которые я застрял и которые, как я надеюсь, могли бы дать понимание после объяснения.
Тао выводит следующее неравенство, используя k-й момент Если это верно для любого k, он завершает экспоненциальную оценку. Это где я потерян. P(|Sn|≥λ√
Представлена лемма Хеффдинга: Лемма 1 (лемма Хеффдинга) Пусть - скалярная переменная, принимающая значения в интервале . Тогда для любого , В частности Доказательство леммы 1 начинается с ожидания от разложения Тейлора Почему разложение может быть ограничено этим квадратичным членом? И как следует уравнение 10?[ a , b ] t > 0 E e t X ≤ e t E X ( 1 + O ( t 2 V a r ( X ) exp ( O ( t ( b - a ) ) ) ) . ( 9 ) E e t X ≤ e t E X exp ( O (
e t X = 1 + t X + O ( t 2 X 2 exp ( O ( t ) ) )Наконец, дано упражнение:
Упражнение 1 Покажите, что фактор в (10) можно заменить на , и это острый. Это дало бы гораздо более короткое доказательство, чем доказательство леммы, используемой в неравенстве Хеффдинга , в разделе « Понимание» , но я не знаю, как это решить.т 2 ( б - ) 2 / 8
Любые дальнейшие интуиции \ объяснения о доказательстве неравенства или причинах, по которым мы не можем установить более жесткую границу, определенно приветствуются.
Ответы:
источник