Почему базовое тестирование гипотез фокусируется на среднем, а не на медиане?

На базовых курсах по статистике для студентов (обычно?) Обучают проверке гипотез для среднего населения.
Почему основное внимание уделяется среднему значению, а не срединному значению? Я предполагаю, что из-за центральной предельной теоремы легче проверить среднее значение, но я бы хотел прочитать некоторые обоснованные объяснения.

hypothesis-testing mean inference median nafrtiti
источник

Среднее имеет полезные свойства для уникальности, расчета и исчисления. Это часто связано с достаточной статистикой.

Генри

Ответы:

Потому что Алан Тьюринг родился после Рональда Фишера.

В старые времена, до компьютеров, все это делалось вручную или, в лучшем случае, с помощью того, что мы сейчас называем калькуляторами. Тесты для сравнения средств могут быть выполнены таким способом - это трудоемко, но возможно. Тесты на квантили (такие как медиана) было бы практически невозможно сделать таким образом.

Например, квантильная регрессия основана на минимизации относительно сложной функции. Это было бы невозможно вручную. Это возможно с программированием. Смотрите, например, Koenker или Wikipedia .

Квантильная регрессия имеет меньше предположений, чем регрессия OLS, и предоставляет больше информации.

Питер Флом - Восстановить Монику
источник

В то время компьютеры существовали, но имели в виду нечто совершенно отличное от того, что мы имеем в виду сейчас.

Мартен Буис

Верно! Компьютеры были людьми, которые делали вычисления.

Питер Флом - Восстановить Монику

@nafrtiti Программа меняется, но медленно. Нужно преодолеть множество импульсов, и люди вне статистики не привыкли к новым идеям, поэтому могут их отвергнуть.

Питер Флом - Восстановить Монику

@SunQingyao Сортировка намного дороже, чем добавление. Добавление является O (n), и это одна из самых основных операций оборудования и требует только один регистр. В дополнение к этому все, что мне нужно знать, это общее количество и количество элементов для получения дополнительных данных и расчета нового среднего значения. Чтобы рассчитать медиану, мне нужен весь набор

JimmyJames,

С помощью быстрого выбора (и с помощью медианы-5 для выбора точки, если плохие точки выбираются случайным образом), вы можете найти квантиль в O (N), уменьшая разрыв между медианой и средней величиной. Конечно, вы должны знать, что такие методы существуют (что было неизвестно даже во время турингов).

Surt

Я хотел бы добавить третью причину к правильным причинам, приведенным Харреллом и Фломом. Причина в том, что мы используем евклидово расстояние (или L2), а не манхэттенское расстояние (или L1) в качестве нашей стандартной меры близости или ошибки. Если у кого-то есть количество точек данных и кто-то хочет, чтобы его оценило одно число , очевидным понятием будет найти число, которое минимизирует «ошибку», что число создает наименьшую разницу между выбранным числом и числа, которые составляют данные. В математической записи для данной функции ошибки E нужно найти $x_1, \ldots x_n$ $\theta$ . Если взять за E (x, y) норму или расстояние L2, то есть то минимизатор по всем является средним. Если взять расстояние L1 или Манхэттен, минимизатор по всем $min_{\theta \in \Bbb{R}} (E(\theta,x_1, \ldots x_n) = min_{\theta \in \Bbb{R}}(\sum_{i=1}^{i=n} E(\theta,x_i))$ $E(x,y) = (x-y)^2$ $\theta \in \Bbb{R}$ - медиана. Таким образом, среднее значение является естественным математическим выбором - если использовать расстояние L2! $\theta \in \Bbb{R}$

aginensky
источник

Поскольку

широко используется для обозначения ожидания , я предлагаю заменить

, скажем,

E

$E$

E

$E$

Err

$\text{Err}$

Ричард Харди

Perhaps it is worth noting that

x^{2}

$x^2$ is differentiable at

x = 0

$x=0$ while

| x |

$|x|$ is not. In my opinion, this is a subtle but key underlying reason why MSE is more prevalent in the mathematical statistics arena than MAE.

Just_to_Answer

@Just_to_Answer - I think that is yet another reason-sort of. I've thought about this a lot over the years. For me, I've concluded that the what you say is tied up with why we generally use Euclidean and not Manhattan distance :)

aginensky

Often the mean is chosen over the median not because it's more representative, robust, or meaningful but because people confuse estimator with estimand. Put another way, some choose the population mean as the quantity of interest because with a normal distribution the sample mean is more precise than the sample median. Instead they should think more, as you have done, about the true quantity of interest.

One sidebar: we have a nonparametric confidence interval for the population median but there is no nonparametric method (other than perhaps the numerically intensive empirical likelihood method) to get a confidence interval for the population mean. If you want to stay distribution-free you might concentrate on the median.

Note that the central limit theorem is far less useful than it seems, as been discussed elsewhere on this site. It effectively assumes that the variance is known or that the distribution is symmetric and has a shape such that the sample variance is a competitive estimator of dispersion.

Frank Harrell
источник

I believe it's possible to construct a nonparametric confidence interval for the mean - say via a permutation test (this can be done under an assumption of symmetry without assuming any specific functional form, for example). That's a somewhat restricted situation, though it's also possible under some other assumptions than symmetry. If you're prepared to deal with the approximate coverage that comes with bootstrapping one can get nonparametric intervals without assumptions like symmetry.

Glen_b -Reinstate Monica

If it assumes symmetry it is parametric. Haven't seen this extended to non-symmetric cases. The bootstrap (all variants except perhaps the studentized t method) is extremely inaccurate under severe asymmetry. See stats.stackexchange.com/questions/186957

Frank Harrell

Symmetry is not finite-parametric. A Wilcoxon signed rank test assumes symmetry (in order to have exhangeability of signs) under the null. You'd call that parametric?

Glen_b -Reinstate Monica

stats.stackexchange.com/questions/9573 stats.stackexchange.com/questions/186957

Frank Harrell

On @Glen_b question about symmetry - that's an excellent question. The Wilcoxon signed-rank test is an interesting case because, unlike the WIlcoxon 2-sample test, makes a heavy symmetry assumption. I guess you could say that you can be non-parametric while still requiring some kind of general assumption such as symmetry. Maybe the terminology should be "nonparametric with restrictions"? On the other hand the nonparametric 2-sample test has restrictions with regard to what optimizes type II error (but not type I error).

Frank Harrell