Ускоренный курс в устойчивой средней оценке

15

У меня есть куча (около 1000) оценок, и все они должны быть оценками долгосрочной эластичности. Чуть более половины из них оценивается с использованием метода A, а остальные - с использованием метода B. Где-то я читал что-то вроде: «Я думаю, что метод B оценивает что-то очень отличное от метода A, потому что оценки намного (на 50-60%) выше ». Мои знания о достоверной статистике практически ничего не значат, поэтому я рассчитал только средние значения выборки и медианы обеих выборок ... и сразу увидел разницу. Метод A очень концентрированный, разница между медианой и средним очень мала, но выборка метода B сильно различалась.

Я пришел к выводу, что выбросы и погрешности измерений искажают образец метода B, поэтому я отбросил около 50 значений (около 15%), которые были очень несовместимы с теорией ... и вдруг значения обоих образцов (включая их КИ) были очень похожи , Графики плотности также.

(В стремлении устранить выбросы я посмотрел на диапазон выборки A и удалил все точки выборки в B, которые выходили за его пределы.) Я хотел бы, чтобы вы сказали мне, где я мог бы найти некоторые основы надежной оценки средств, которые могли бы позвольте мне судить об этой ситуации более строго. И иметь некоторые ссылки. Мне не нужно очень глубокое понимание различных методов, скорее, прочитайте всесторонний обзор методологии надежной оценки.

Я t-тест на значимость средней разности после удаления выбросов и р-значение составляет 0,0559 (т около 1,9), для полных выборок т стат был около 4,5. Но дело не в этом, средства могут быть немного другими, но они не должны отличаться на 50-60%, как указано выше. И я не думаю, что они делают.

Ондрей
источник
3
Каков ваш предполагаемый анализ с использованием этих данных? Практика устранения выбросов вызывает сомнительную статистическую достоверность: этим вы можете «сделать данные», чтобы придать значимость или отсутствие значимости на любом уровне. Являются ли популяции A и B, которые получали измерения с использованием методов A и B, действительно гомогенными, или возможно, что ваши методы только что дали вам разные популяции?
AdamO
Там не будет никаких дальнейших расчетов или анализа с данными. Согласно последним исследованиям, оба упомянутых метода последовательны, поэтому популяции должны быть однородными; но данные не очень хорошего качества, и ясно, что некоторые значения в B ошибочны (метод подвержен ошибкам), они не имеют абсолютно никакого экономического смысла. Я знаю, что удаление сомнительно, поэтому я ищу что-то более строгое и заслуживающее доверия.
Ондрей

Ответы:

18

Вы ищете теорию или что-то практичное?

Если вы ищете книги, вот некоторые из них, которые я нашел полезными:

  • FR Hampel, EM Ronchetti, PJRousseeuw, WA Stahel, Надежная статистика: подход, основанный на функциях влияния , John Wiley & Sons, 1986.

  • PJ Huber, Робастная статистика , John Wiley & Sons, 1981.

  • PJ Rousseeuw, AM Leroy, Робастная регрессия и обнаружение выбросов , John Wiley & Sons, 1987.

  • RG Staudte, SJ Sheather, Робастная оценка и тестирование , John Wiley & Sons, 1990.

Если вы ищете практические методы, вот несколько надежных методов оценки среднего значения («оценки местоположения», я думаю, более принципиальный термин):

  • Медиана простая, известная и довольно мощная. Обладает отличной устойчивостью к выбросам. «Цена» надежности составляет около 25%.

  • Среднее 5-процентное сокращение - другой возможный метод. Здесь вы отбрасываете 5% самых высоких и 5% самых низких значений, а затем берете среднее значение (среднее) результата. Это менее устойчиво к выбросам: до тех пор, пока не повреждено не более 5% ваших точек данных, это хорошо, но если повреждено более 5%, оно внезапно становится ужасным (оно не ухудшается). «Цена» надежности меньше, чем медиана, хотя я не знаю, что именно.

  • Оценщик Ходжеса-Лемана вычисляет медиану множества (множество, содержащее значений), где - наблюдения. Это имеет очень хорошую надежность: он может справиться с повреждением примерно до 29% точек данных, не разваливаясь полностью. А «цена» надежности низкая: около 5%. Это правдоподобная альтернатива медиане.{(xi+xj)/2:1ijn}n(n+1)/2x1,,xN

  • Межквартильное среднее - это еще одна оценка, которая иногда используется. Он вычисляет среднее значение первого и третьего квартилей и, следовательно, прост для вычисления. Он обладает очень хорошей надежностью: он может выдерживать искажения до 25% точек данных. Однако «цена» робастности нетривиальна: около 25%. В результате это кажется хуже среднего.

  • Есть много других мер, которые были предложены, но приведенные выше кажутся разумными.

Короче говоря, я бы предложил медиану или, возможно, оценку Ходжеса-Лемана.

PS О, я должен объяснить, что я имею в виду под «ценой» надежности. Надежная оценка разработана, чтобы все еще работать прилично хорошо, даже если некоторые из ваших точек данных были повреждены или имеют иные выбросы. Но что, если вы используете надежную оценку для набора данных, который не имеет выбросов и искажений? В идеале мы хотели бы, чтобы надежный оценщик был максимально эффективным при использовании данных, насколько это возможно. Здесь мы можем измерить эффективность по стандартной ошибке (интуитивно, типичная величина ошибки в оценке, произведенной оценщиком). Известно, что если ваши наблюдения получены из гауссовского распределения (iid), и если вы знаете, что вам не понадобится устойчивость, то среднее значение является оптимальным: оно имеет наименьшую возможную ошибку оценки. «Цена» надежности, выше, Насколько увеличивается стандартная ошибка, если мы применим конкретный надежный оценщик к этой ситуации. Цена надежности 25% для медианы означает, что размер типичной ошибки оценки со медианой будет примерно на 25% больше, чем размер типичной ошибки оценки со средним значением. Очевидно, что чем ниже «цена», тем лучше.

DW
источник
n(n+1)/2(xi+xj)/21яJNwilcox.test(..., conf.int=TRUE)
+1, это действительно отлично. Однако у меня есть один придирка: я бы не использовал фразу «термин ошибки» в вашем последнем абзаце, так как она часто используется для обозначения чего-то другого; Вместо этого я бы использовал «стандартную ошибку распределения выборки» или просто «стандартную ошибку».
gung - Восстановить Монику
Очень хорошо структурированный и краткий ответ, спасибо! Обзор - это то, что мне было нужно, я прочитаю статью, предложенную Хенриком, и должна быть освещена. Для долгих летних ночных развлечений я обязательно ознакомлюсь с книгами, предложенными вами и jbowman.
Ондрей
@ Каракал, ты прав. Моя характеристика оценки HL была неверной. Спасибо за исправление. Я обновил свой ответ соответственно.
DW
Спасибо @gung! Я отредактировал ответ, чтобы использовать «стандартную ошибку», как вы предлагаете.
DW
7

Если вам нравится что-то короткое и легко усваиваемое, взгляните на следующую статью из психологической литературы:

Эрцег-Хурн Д.М., Миросевич В.М. (2008). Современные надежные статистические методы: простой способ максимизировать точность и эффективность ваших исследований. Американский психолог , 63 (7), 591–601. DOI: 10,1037 / 0003-066X.63.7.591

Они в основном полагаются на книги Рэнда Р Уилкокса (которые, по общему признанию, также не слишком математичны):

Wilcox, RR (2001). Основы современных статистических методов: существенное повышение мощности и точности. Нью-Йорк; Берлин: Спрингер.
Wilcox, RR (2003). Применение современных статистических методов. Амстердам; Бостон: Академическая пресса.
Wilcox, RR (2005). Введение в робастную оценку и проверку гипотез. Академическая пресса.

Хенрик
источник
5

Одна книга, которая довольно хорошо сочетает в себе теорию и практику, - это « Надежные статистические методы с использованием R», написанные Юречковой и Пичеком. Мне также нравится робастная статистика от Maronna et al. Однако, оба из них могут иметь больше математики, чем вы хотели бы. Для более прикладного урока, ориентированного на R, этот BelVenTutorial pdf может помочь.

jbowman
источник
Ах, проф. Юречкова - преподаватель в нашем университете, каковы шансы. Я проверю обе книги. Хотя я искал более ... краткий документ (поскольку эта проблема для меня очень незначительна), мне не помешает углубиться в него немного глубже. Благодарность!
Ондрей
1
Это маленький мир! Ну, по крайней мере, я исправил орфографию, скопировав из вашего комментария ...
jbowman