Среднее абсолютное отклонение против стандартного отклонения

35

В учебнике Грира «Новая комплексная математика для уровня O» (1983) я вижу усредненное отклонение, рассчитываемое так:

Суммируйте абсолютные различия между отдельными значениями и средним. Тогда получите его среднее. В этой главе используется термин « среднее отклонение» .

Но я недавно видел несколько ссылок, которые используют термин стандартное отклонение, и вот что они делают:

Рассчитайте квадраты различий между отдельными значениями и средним. Затем получите их среднее значение и, наконец, корень ответа.

Я попробовал оба метода на общем наборе данных, и их ответы отличаются. Я не статистика. Я запутался, пытаясь научить девиации своим детям.

Итак, короче говоря, термины стандартное отклонение и среднее отклонение одинаковы или мой старый учебник неверен?

itsols
источник
2
Эти две величины отличаются. Они оценивают данные по-разному. Стандартное отклонение будет больше, и на него относительно больше влияют большие значения. Стандартное отклонение (в частности, версия с n-знаменателем) можно рассматривать как среднеквадратичное отклонение. Стандартные отклонения используются чаще.
Glen_b
6
Очень тесно связаны : stats.stackexchange.com/questions/118/… .
whuber
У Гэри Кадера есть забавный способ научить детей вычислять среднее абсолютное отклонение .
Иан Сэмюэль Маклин, старейшина
1
Кстати, одна из причин, по которой люди предпочитают стандартное отклонение, заключается в том, что дисперсии сумм несвязанных случайных величин складываются (и связанные с ними также имеют простую формулу). Это не происходит со средним отклонением.
Glen_b
2
@ Алексис формулировка была плохой. Для независимых случайных величин Var (X + Y) = Var (X) + Var (Y). Этот факт используется повсеместно (это приводит к знакомому nтермины при стандартизации формул, включающих средства, как, например, в t-статистике с одной выборкой). Там нет соответственно общего факта для среднего отклонения.
Glen_b

Ответы:

27

Оба отвечают, как далеко ваши значения распределены по среднему значению наблюдений.

Наблюдение, которое равно 1 под средним, равно «далеко» от среднего значения, как значение, которое на 1 выше среднего. Следовательно, вы должны пренебрегать знаком отклонения. Это можно сделать двумя способами:

  • Рассчитайте абсолютную величину отклонений и суммируйте их.

  • Возведите в квадрат отклонения и сложите эти квадраты. Из-за квадрата вы придаете больший вес высоким отклонениям, и, следовательно, сумма этих квадратов будет отличаться от суммы средних.

Вычислив «сумму абсолютных отклонений» или «квадратный корень из суммы квадратов отклонений», вы усредняете их, чтобы получить «среднее отклонение» и «стандартное отклонение» соответственно.

Среднее отклонение используется редко.

Kasper
источник
Итак, когда кто-то просто говорит «отклонение», они означают «стандартное отклонение»?
itols
Я согласен, что 1 выше или ниже будет означать значимое «изменение» или «дисперсия» с точки зрения обычного человека. Но возведение в квадрат дало бы большие значения, и это не могло бы быть моим «фактическим изменением». Может быть, я ошибаюсь, но вот как я это вижу: /
itols
В большинстве случаев используется термин стандартное отклонение (квадратный корень из дисперсии). Вычисление квадратов обычно выполняется, так как это облегчает множество других вычислений.
Каспер
1
@itsols Технически, вы всегда должны указывать, какой тип статистики отклонений вы рассчитываете для набора данных - само по себе отклонение слова должно относиться к отклонению отдельного элемента данных от среднего значения (в том смысле, в каком его использует Каспер в ответе). ).
AmeliaBR
@itsols, +1 к Амелии. Действительно, никто не говорит о статистике набора данных как о «отклонении». Статистика - это «среднее абсолютное отклонение» или «корень среднего квадратического отклонения» или что-то подобное.
ttnphns
15

Сегодня статистические значения в основном рассчитываются с помощью компьютерных программ (Excel, ...), а не с помощью ручных калькуляторов. Следовательно, я бы сказал, что вычисление «среднего отклонения» не более громоздко, чем вычисление «стандартного отклонения». Хотя стандартное отклонение может иметь «... математические свойства, которые делают его более полезным в статистике», на самом деле это искажение понятия дисперсии от среднего, поскольку оно дает дополнительный вес точкам данных, далеким от среднего. Это может занять некоторое время, но я, например, надеюсь, что статистики снова станут использовать «среднее отклонение» чаще при обсуждении распределения между точками данных - это более точно отражает то, как мы на самом деле думаем о распределении.

andyl
источник
Вы делаете необычайное утверждение о том, как (статистически квалифицированные) люди «на самом деле думают». Каков источник вашей информации об этом?
whuber
7
Источником являются просто люди, которых я допрашивал на эту тему, а также я. Когда спрошено: Как Вы представляете изменение в этом наборе данных? ответ всегда выражался через линейное расстояние от среднего значения - ответ никогда не включал квадраты или квадратные корни. Конечно, я инженер, а не «статистик», но я бы попросил кого-нибудь еще поинтересоваться в этой теме. Да, мы любим математику стандартного отклонения - это весело, но действительно ли это то, как вы представляете отклонение от среднего?
Andyl
2
Это зависит от цели. Для исследования данных я склонен использовать надежные, основанные на ранге оценки дисперсии, такие как срединные отклонения от медиан, которые по духу близки к вашему предложению. Но для многих других работ, особенно при оценке (даже мысленно) потенциала статистической значимости, оценке соответствующих размеров выборки, выяснении ценности информации и выборе среди конкурирующих статистических процедур, мышление с точки зрения отклонений (и, следовательно, стандартных отклонений) является существенный. Средние отклонения не являются заменой, как ясно показывает математика.
whuber
1
Проверьте эту бумагу .
Пит
@ Пит Как ты туда попал?
Vicrobot
9

Они оба измеряют одну и ту же концепцию, но не равны.

1n|xix¯|1n(xix¯)2

a+ba+b
|xix¯|=(xix¯)2(xix¯)2

n

1n(xix¯)2

Причина, по которой стандартное отклонение является предпочтительным, заключается в том, что с математически легче работать позже, когда вычисления становятся более сложными.

ltronneberg
источник
3
Абсолютное значение суммы является не , в общем, так же , как сумма абсолютных значений! Ни квадратные, квадратные корни, ни абсолютные функции не являются линейными, поэтому сумма после применения функции отличается от применения функции после получения суммы.
AmeliaBR
@ AmeliaBR ты, конечно, совершенно прав!
Итроннеберг
Остальная часть аргумента была хорошей, поэтому я решил отредактировать проблемное утверждение.
AmeliaBR
8

@itsols, я добавлю к важному понятию Каспера это The mean deviation is rarely used. Почему стандартное отклонение обычно считается лучшей мерой изменчивости, чем среднее абсолютное отклонение? Потому что среднее арифметическое - это локус минимальной суммы квадратов (а не суммы абсолютных) отклонений от него.

Предположим, вы хотите оценить степень альтруизма. Тогда вы, вероятно, не спросите человека о том, сколько он готов дать денег в «общей ситуации» жизни. Скорее, вы решите спросить, насколько он готов сделать это в сдержанной ситуации, когда у него есть минимально возможные ресурсы для его собственной жизни. Т.е. какова величина индивидуального альтруизма в ситуации, когда эта сумма минимальна?

Кроме того, какова степень изменчивости этих данных? Интуитивно понятно, что лучшим показателем измерения для него является тот, который минимизирован (или максимизирован) до предела в этом контексте. Контекст «вокруг среднего арифметического». Тогда ул. отклонение - лучший выбор в этом смысле. Если контекст был «вокруг медианы», то означал бы | отклонение | будет лучшим выбором, потому что медиана является локусом минимальной суммы абсолютных отклонений от него.

ttnphns
источник
4
Ваше обоснование для SD, основанного на Locus, является круглым. Вы оправдываете SD, придавая особое значение среднему арифметическому - все это показывает, что у них есть отношения, а не то, что SD является особенным. Аналогичным образом можно придать значение медиане, которая является локусом минимальной суммы абсолютных потерь. Реальные причины, почему SD используется чаще, состоит в том, что с математикой легче работать ... более того, это проще в вычислительном отношении (как потому, что медианы требуют «сортировки», так и потому, что квадраты быстрее вычисляются, чем операторы ветвления). Философско- абсолютное отклонение имеет большую ценность.
Самбест
7

Стоит добавить, что наиболее вероятная причина, по которой ваш 30-летний учебник использовал абсолютное среднее отклонение, а не стандартное отклонение, заключается в том, что его легче вычислить вручную (без квадратуры / квадратного корня). Теперь, когда калькуляторы легко доступны для старшеклассников, нет никаких оснований не просить их рассчитать стандартное отклонение.

Все еще существуют ситуации, в которых абсолютные отклонения используются вместо стандартных отклонений при подгонке сложной модели. Абсолютные отклонения менее чувствительны к экстремальным выбросам (значениям, далеким от средней / линии тренда) по сравнению со стандартными отклонениями, поскольку они не возводят это расстояние в квадрат перед добавлением его к значениям из других точек данных. Поскольку методы подбора модели направлены на уменьшение общего отклонения от линии тренда (в зависимости от того, какое отклонение метода является расчетным), методы, использующие стандартное отклонение, могут в конечном итоге создать линию тренда, которая отклоняется от большинства точек, чтобы быть ближе к выбросу. , Использование абсолютных отклонений уменьшает это искажение, но за счет усложнения расчета линии тренда.

Это потому, что, как отмечали другие, стандартное отклонение имеет математические свойства и отношения, которые обычно делают его более полезным в статистике. Но «полезное» никогда не следует путать с идеальным.

AmeliaBR
источник
1
просто любопытно, какие «математические свойства» делают SD более полезным, чем среднее абсолютное отклонение? отличный ответ кстати.
Weipeng L
@pongba Стандартное отклонение присуще многим статистическим моделям, которые предполагают случайное отклонение от множества эффектов, которые могут компенсировать друг друга (иначе говоря, нормально распределенные данные). Это включает в себя точность выборки (погрешность) при использовании опроса большой популяции. Если ваши данные соответствуют этой модели, вы можете оценить вероятность получения значения из числа SD из среднего значения. Вы можете рассчитать SD нескольких независимых эффектов из SD отдельных компонентов. Смотрите также: en.m.wikipedia.org/wiki/Standard_deviation
AmeliaBR
7

Оба измеряют дисперсию ваших данных, вычисляя расстояние данных до их среднего значения.

  1. среднее абсолютное отклонение использует норму L1 (ее также называют Манхэттен расстояние или прямолинейное расстояние )
  2. стандартное отклонение использует норму L2 (также называется евклидово расстояние )

Разница между этими двумя нормами заключается в том, что стандартное отклонение рассчитывает квадрат разности, тогда как среднее абсолютное отклонение учитывает только абсолютную разницу. Следовательно, большие выбросы будут создавать более высокую дисперсию при использовании стандартного отклонения вместо другого метода. Евклидово расстояние действительно также чаще используется. Основная причина в том, что стандартное отклонениеимеют хорошие свойства при нормальном распределении данных. Таким образом, при этом предположении, рекомендуется использовать его. Однако люди часто делают это предположение для данных, которые на самом деле обычно не распространяются, что создает проблемы. Если ваши данные обычно не распространяются, вы все равно можете использовать стандартное отклонение, но вы должны быть осторожны с интерпретацией результатов.

Наконец, вы должны знать, что обе меры дисперсии являются частными случаями расстояния Минковского для p = 1 и p = 2. Вы можете увеличить p, чтобы получить другие показатели разброса ваших данных.

RockScience
источник
На эту тему также есть запись на math.stackexchange: math.stackexchange.com/questions/384003/l1-norm-and-l2-norm
RockScience
6

Это схожие меры, которые пытаются количественно оценить одно и то же понятие. Как правило, вы используете ул. отклонение, поскольку оно имеет хорошие свойства, если вы сделаете некоторое предположение о базовом распределении.

С другой стороны, абсолютное значение среднего отклонения вызывает некоторые проблемы с математической точки зрения, поскольку вы не можете дифференцировать его и не можете легко его проанализировать. Некоторое обсуждение здесь .

iliasfl
источник
1

Нет, ты ошибаешься. Просто шучу. Есть, однако, много жизнеспособных причин, почему кто-то хотел бы вычислить среднее отклонение, а не формальное стандартное значение, и таким образом я согласен с точкой зрения моих технических братьев. Конечно, если я вычисляю статистику для сравнения с существующей работой, которая выражает качественные, а также количественные выводы, я бы придерживался стандарта. Но, например, предположим, что я пытаюсь бежать быстроалгоритмы обнаружения аномалий на двоичных, сгенерированных машиной данных. Я не после академических сравнений в качестве моей конечной цели. Но меня интересует фундаментальный вывод о «распространении» определенного потока данных о его среднем значении. Я также заинтересован в том, чтобы вычислять это итеративно и максимально эффективно. В цифровом электронном оборудовании мы все время играем грязные трюки - мы перегоняем умножения и деления на сдвиги влево и вправо соответственно, а для «вычисления» абсолютных значений мы просто сбрасываем знаковый бит (и при необходимости вычисляем одно или два дополнения) Обе легко трансформируются). Таким образом, мой выбор состоит в том, чтобы вычислить его наиболее изнурительным способом и применить линейные пороги к моим вычислениям для быстрого обнаружения аномалий в течение требуемых временных окон.

NotATroll
источник
1
Стандартное отклонение может быть эффективно и просто вычислено с помощью онлайн-алгоритма, как и любой другой момент (включая среднее абсолютное отклонение). Таким образом, требование к быстрому или простому вычислению не исключило бы это (и при этом это не исключило бы любые основанные на моменте оценки распространения).
whuber
0

Эти две меры действительно различаются. Первый часто называют средним абсолютным отклонением (MAD), а второй - стандартным отклонением (STD). Во встраиваемых приложениях с сильно ограниченными вычислительными возможностями и ограниченной памятью программ очень желательно избегать вычислений с квадратным корнем.

Из быстрого грубого теста кажется, что MAD = f * STD с f где-то между 0,78 и 0,80 для набора случайных выборок, распределенных по Гауссу.

Марко ван Стин
источник
0

У Амара Сагу есть очень хорошая статья, объясняющая это: [ http://blog.amarsagoo.info/2007/09/making-sense-of-standard-deviation.html]

Чтобы добавить мою попытку интуитивного понимания:

Среднее отклонение - это достойный способ выяснить, как далеко гипотетическая «средняя» точка находится от среднего значения, но на самом деле это не работает для того, чтобы выяснить, как далеко все точки находятся друг от друга или насколько «разбросаны» данные.

Стандартное отклонение задает вопрос о том, как далеко друг от друга находятся все точки, поэтому оно включает в себя больше полезной информации, чем просто среднее отклонение (именно поэтому среднее отклонение обычно используется только как ступенька к пониманию стандартного отклонения).

Хорошей аналогией является теорема Пифагора. Теорема Пифагора говорит нам расстояние между точками в двух измерениях, беря горизонтальное расстояние и вертикальное расстояние, возводя их в квадрат, добавляя квадраты и беря квадратный корень из суммы.

Если вы внимательно посмотрите, формула для (совокупности) стандартного отклонения в основном такая же, как теорема Пифагора, но с гораздо большим, чем два измерения (и с использованием расстояния от каждой точки до среднего в качестве расстояния в каждом измерении). Как таковой, он дает наиболее точную картину «расстояния» между всеми точками в вашем наборе данных.

Чтобы продвинуть эту аналогию немного дальше, среднее абсолютное отклонение будет похоже на взятие среднего значения горизонтального и вертикального расстояний, которое меньше общего расстояния, в то время как суммарное абсолютное отклонение будет сложением горизонтального и вертикального расстояний, которое длиннее чем фактическое расстояние.

Исаак Демме
источник
Я предполагаю, что когда вы говорите «среднее отклонение», вы имеете в виду абсолютное отклонение, о котором говорил ОП. Терминология важна, потому что среднее отклонение всегда равно 0. Что касается разницы между средним абсолютным отклонением и стандартным отклонением, оба включают отклонение ВСЕХ точек от среднего. Один включает в себя сумму абсолютных отклонений от среднего, в то время как это квадратный корень, если сумма квадратов отклонения ..
Майкл Р. Черник
0

Стандартное отклонение представляет собой дисперсию из-за случайных процессов. В частности, многие физические измерения, которые, как ожидается, должны быть связаны с суммой многих независимых процессов, имеют нормальное распределение (кривая колокола).

Y=1σ2πe(xμ)22σ2

Yxμσ

Другими словами, стандартное отклонение - это термин, который возникает из суммирования независимых случайных величин. Поэтому я не согласен с некоторыми ответами, приведенными здесь: стандартное отклонение - это не просто альтернатива среднему отклонению, которое «оказывается более удобным для последующих вычислений». Стандартное отклонение является правильным способом моделирования дисперсии для нормально распределенных явлений.

Если вы посмотрите на уравнение, вы увидите, что стандартное отклонение более сильно взвешивает большие отклонения от среднего. Интуитивно понятно, что среднее отклонение можно представить как измерение фактического среднего отклонения от среднего, тогда как стандартное отклонение учитывает «нормальное» распределение в форме колокола вокруг среднего. Таким образом, если ваши данные обычно распределяются, стандартное отклонение говорит вам, что если вы выберете больше значений, ~ 68% из них будут найдены в пределах одного стандартного отклонения от среднего значения.

С другой стороны, если у вас есть одна случайная переменная, распределение может выглядеть как прямоугольник с равной вероятностью появления значений в любом месте диапазона. В этом случае среднее отклонение может быть более подходящим.

TL; DR, если у вас есть данные, которые происходят из-за множества лежащих в основе случайных процессов или которые вы просто знаете, что они распространяются нормально, используйте функцию стандартного отклонения.

Анейл Маллаварапу
источник