Как доказать, что

Я пытался установить неравенство

$| T_{i} | = \frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}$ $\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$

где - среднее значение выборки, а - стандартное отклонение выборки, то есть . $\bar{X}$ $S$ $S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$

Легко видеть, что $\sum_{i=1}^n T_i^2 = n-1$ и так $\left| T_i \right| < \sqrt{n-1}$ но это не очень близко к тому, что я искал, и не является полезным ограничением. Я экспериментировал с неравенствами Коши-Шварца и неравенства треугольника, но никуда не делся. Там должен быть тонкий шаг, который я где-то упускаю. Буду признателен за помощь, спасибо.

self-study descriptive-statistics bounds JohnK
источник

Ответы:

Это неравенство Самуэльсона, и ему нужен знак . Если вы возьмете версию Википедии и переработаете ее для определения вы обнаружите, что она становится $\leq$ $n-1$ $S,$

\frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{N}}

${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$

soakley
источник

Это приведено как строгое неравенство в книге, но я исправил это, спасибо.

JohnK

После упрощения проблемы с помощью рутинных процедур ее можно решить, превратив ее в программу двойной минимизации, которая имеет хорошо известный ответ с элементарным доказательством. Возможно, эта дуализация является «тонким шагом», о котором идет речь в вопросе. Неравенство также можно установить чисто механическим путем, максимизируячерез множители Лагранжа. $|T_i|$

Во-первых, я предлагаю более элегантное решение, основанное на геометрии наименьших квадратов. Это не требует предварительного упрощения и является почти немедленным, обеспечивая непосредственную интуицию в результате. Как предполагается в вопросе, проблема сводится к неравенству Коши-Шварца.

Геометрическое решение

Рассмотрим как мерный вектор в евклидовом пространстве с обычным точечным произведением. Пусть стать базисный вектор и . Запишите и для ортогональных проекций и в ортогональное дополнение к . (В статистической терминологии они являются остатками относительно средних.) Тогда, поскольку и $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ $n$ $\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ $i^\text{th}$ $\mathbf{1} = (1,1,\ldots, 1)$ $\mathbf{\hat x}$ $\mathbf{\hat y}$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{1}$ $X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ $S = ||\mathbf{\hat x}||/\sqrt{n-1}$ ,

| T_{я} | знак равно \sqrt{N - 1} \frac{| \hat{Икс} \cdot Y |}{| | \hat{Икс} | |} знак равно \sqrt{N - 1} \frac{| \hat{Икс} \cdot \hat{Y} |}{| | \hat{Икс} | |}

$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$

является компонентом в направлении . По Коши-Шварцу, это максимизируется именно тогда, когда параллелен , для которого QED. $\mathbf{\hat y}$ $\mathbf{\hat x}$ $\mathbf{\hat x}$ $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$

T_{я} знак равно \pm \sqrt{N - 1} \frac{\hat{Y} \cdot \hat{Y}}{| | \hat{Y} | |} знак равно \pm \sqrt{N - 1} | | \hat{Y} | | знак равно \pm \frac{N - 1}{\sqrt{N}},

$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$

Кстати, это решение обеспечивает исчерпывающую характеристику всех случаев, когдамаксимально: они все в форме $|T_i|$

Икс знак равно σ \hat{Y} + μ 1 знак равно σ (- 1, - 1, ..., - 1, N - 1, - 1, - 1, ..., - 1) + μ (1, 1, ..., 1)

$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$

для всех настоящих . $\mu, \sigma$

Этот анализ легко обобщается на случай, когда заменяется любым набором регрессоров. Очевидно, максимум пропорционален длине невязки ,, $\{\mathbf{1}\}$ $T_i$ $\mathbf{y}$ $||\mathbf{\hat y}||$

упрощение

Поскольку является инвариантным при изменениях местоположения и масштаба, мы можем предположить без ограничения общности, что сумма равна нулю, а их квадраты - . Это идентифицируетс, поскольку (средний квадрат) равен . Максимизация его равносильна максимизации . Принимая , общность также не теряется , поскольку являются взаимозаменяемыми. $T_i$ $X_i$ $n-1$ $|T_i|$ $|X_i|$ $S$ $1$ $|T_i|^2 = T_i^2 = X_i^2$ $i=1$ $X_i$

Решение с помощью двойного состава

Двойственная проблема состоит в том, чтобы зафиксировать значение и спросить, какие значения оставшихся необходимы, чтобы минимизировать сумму квадратов учитывая, что . Поскольку задано , это проблема минимизации учитывая, что . $X_1^2$ $X_j, j\ne 1$ $\sum_{j=1}^n X_j^2$ $\sum_{j=1}^n X_j = 0$ $X_1$ $\sum_{j=2}^n X_j^2$ $\sum_{j=2}^n X_j = -X_1$

Решение легко найти во многих отношениях. Одним из самых элементарных является написать

{Икс}_{J} знак равно - \frac{{Икс}_{1}}{N - 1} + ε_{J}, J знак равно 2, 3, ..., N

$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$

для которого . Расширение целевой функции и использование этой суммы к нулю, чтобы упростить ее, производит $\sum_{j=2}^n \varepsilon_j = 0$

Σ_{J знак равно 2}^{N} {Икс}_{J}^{2} знак равно Σ_{J знак равно 2}^{N} {(- \frac{{Икс}_{1}}{N - 1} + ε_{J})}^{2} знак равно Σ {(- \frac{{Икс}_{1}}{N - 1})}^{2} - 2 \frac{{Икс}_{1}}{N - 1} Σ ε_{J} + Σ ε_{J}^{2} знак равно постоянная + Σ ε_{J}^{2},

$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$

немедленно показывая уникальное решение для всех . Для этого решения $\varepsilon_j=0$ $j$

(N - 1) S^{2} знак равно {Икс}_{1}^{2} + (N - 1) {(- \frac{{Икс}_{1}}{N - 1})}^{2} знак равно (1 + \frac{1}{N - 1}) {Икс}_{1}^{2} знак равно \frac{N}{N - 1} {Икс}_{1}^{2}

$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$

а также

| T_{я} | знак равно \frac{| {Икс}_{1} |}{S} знак равно \frac{| {Икс}_{1} |}{\sqrt{\frac{N}{(N - 1)^{2}} {Икс}_{1}^{2}}} знак равно \frac{N - 1}{\sqrt{N}},

$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$

КЕД .

Решение с помощью машин

Вернемся к упрощенной программе, с которой мы начали:

Максимизация {Икс}_{1}^{2}

$\text{Maximize } X_1^2$

при условии

Σ_{я знак равно 1}^{N} {Икс}_{я} знак равно 0 а также Σ_{я знак равно 1}^{N} {Икс}_{я}^{2} - (N - 1) знак равно 0.

$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$

Метод множителей Лагранжа (который является почти чисто механическим и простым) приравнивает нетривиальную линейную комбинацию градиентов этих трех функций к нулю:

(0, 0, ..., 0) знак равно λ_{1} D ({Икс}_{1}^{2}) + λ_{2} D (Σ_{я знак равно 1}^{N} {Икс}_{я}) + λ_{3} D (Σ_{я знак равно 1}^{N} {Икс}_{я}^{2} - (N - 1)),

$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$

Компонент за компонентом, эти уравнений $n$

\begin{aligned} 0 & знак равно 2 λ_{1} {Икс}_{1} + & λ_{2} & + 2 λ_{3} {Икс}_{1} \\ 0 & знак равно & λ_{2} & + 2 λ_{3} {Икс}_{2} \\ 0 & знак равно \dots \\ 0 & знак равно & λ_{2} & + 2 λ_{3} {Икс}_{N}, \end{aligned}

$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$

Последние из них подразумевают либо либо . (Мы можем исключить последний случай, потому что тогда первое уравнение подразумевает , тривиализируя линейную комбинацию.) Ограничение суммы до нуля дает . Ограничение суммы квадратов дает два решения $n-1$ $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ $\lambda_2=\lambda_3=0$ $\lambda_1=0$ $X_1 = -(n-1)X_2$

{Икс}_{1} знак равно \pm \frac{N - 1}{\sqrt{N}}; {Икс}_{2} знак равно {Икс}_{3} знак равно \dots знак равно {Икс}_{N} знак равно \mp \frac{1}{\sqrt{N}},

$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$

Они оба дают

| T_{я} | знак равно | {Икс}_{1} | \leq | \pm \frac{N - 1}{\sqrt{N}} | знак равно \frac{N - 1}{\sqrt{N}},

$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$

Whuber
источник

Спасибо за ваше приложение, геометрия очень мощная и из всех трех решений она наиболее интуитивна для меня.

JohnK

Неравенство, как указано, верно. Интуитивно понятно, что мы получаем наиболее сложный случай для неравенства (то есть максимизации левой стороны для заданного ), выбирая одно значение, скажем, как можно больше, при этом все остальные равны. Давайте посмотрим на пример с такой конфигурацией: $S^2$ $x_1$

N знак равно 4, {Икс}_{1} знак равно {Икс}_{2} знак равно {Икс}_{3} знак равно 0, {Икс}_{4} знак равно 4, \bar{Икс} знак равно 1, S^{2} знак равно 4,

$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$ теперь зависимости от , а заданный верхний предел равен что просто достаточно. Эта идея может быть завершена до доказательства.

\frac{| x_{i} - \bar{x} |}{S} = {\begin{cases} \frac{1}{2} or \\ \frac{3}{2} \end{cases}

$\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$

i

$i$

\frac{4 - 1}{2} = 1.5

$\frac{4-1}{2}=1.5$

РЕДАКТИРОВАТЬ

Теперь мы докажем претензию, как указано выше. Во-первых, для любого данного вектора в этой задаче мы можем заменить его на не меняя ни одну из сторон вышеприведенного неравенства. Итак, в дальнейшем предположим, что . Мы также можем с помощью перемаркировки предположить, что является наибольшим. Затем, выбрав сначала а затем мы можем проверить с помощью простой алгебры, что мы имеем равенство в заявленном неравенстве. Итак, это остро. $x=(x_1, x_2, \dots, x_n)$ $x-\bar{x}$ $\bar{x}=0$ $x_1$ $x_1>0$ $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$

Затем определите (выпуклую) область помощью для данной положительной константы . Обратите внимание, что - это пересечение гиперплоскости с сферой, центрированной в начале координат, так же как и сфера в -пространстве. Теперь наша проблема может быть сформулирована как с $R$

р знак равно {Икс \in р : \bar{Икс} знак равно 0, Σ ({Икс}_{я} - \bar{Икс})^{2} / (N - 1) \leq S^{2}}

$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$

S^{2}

$S^2$

R

$R$

(n - 1)

$(n-1)$

\underset{Икс \in р}{Максимум} \underset{я}{Максимум} | {Икс}_{я} |

$\max_{x\in R} \max_i |x_i|$

x

$x$ максимизация этого будет самым трудным случаем для неравенства. Это проблема нахождения максимума выпуклой функции над выпуклым множеством, что в общем случае является сложной задачей (минимумы - это просто!). Но в этом случае выпуклая область - это сфера с центром в начале координат, а функция, которую мы хотим максимизировать, - это абсолютное значение координат. Очевидно, что этот максимум находится в граничной сфере , и если взятьмаксимальный, наш первый контрольный пример принудительный.

R

$R$

| x_{1} |

$|x_1|$

Къетил б Халворсен
источник

@JohnK Вы можете удалить свои комментарии сейчас, пост исправлен

kjetil b halvorsen

Хотя этот ответ показывает, что неравенство (при условии, что оно истинно, что оно есть) является жестким , неясно, как этот единственный расчет мог быть «завершен до доказательства». Не могли бы вы дать некоторое представление о том, как это будет сделано?

whuber

Будет, но завтра, теперь я должен подготовить завтрашний класс.

kjetil b halvorsen

Спасибо - я ценю вашу тщательную формулировку проблемы. Но ваше «доказательство», похоже, сводится к утверждению, что «это очевидно». Вы всегда можете применить множители Лагранжа для завершения работы, но было бы неплохо увидеть подход, который (а) на самом деле является доказательством и (б) дает понимание.

whuber

@whuber Если у вас есть время, буду признателен, если вы опубликуете свое решение по множителям Лагранжа. Я думаю, что неравенство в целом не так знаменито, как должно быть.

JohnK