Каковы наиболее распространенные уклоны, которые люди делают при сборе или интерпретации данных?

39

Я эконом / стат майор. Мне известно, что экономисты пытались изменить свои предположения о поведении и рациональности человека, выявляя ситуации, в которых люди не ведут себя рационально. Например, предположим, что я предлагаю вам 100% -ную потерю в 1000 долл. Или 50% -ную потерю в размере 2500 долл. , Люди выбирают вариант с 2500 долл., Даже если ожидаемая стоимость последнего больше потери, чем гарантированная 1000 долл. потеря. Это известно как «отвращение к потерям». Поведенческие экономисты сейчас изучают эти закономерности и пытаются определить, как люди отклоняются от этих аксиом, которые обычно считаются «рациональным» поведением. Здесь я полагаю, что разумно предпочесть наименьшую ожидаемую потерю.

Мне было интересно, выявили ли статистики общие закономерности в сборе данных, которые дают необъективные результаты в том, как люди интерпретируют данные. Если по существу существовал «рациональный» способ сбора данных, я предполагаю, что есть примеры, когда люди отклоняются от этого и демонстрируют «предвзятость». Если да, то какие наиболее распространенные предубеждения возникают у людей при сборе или интерпретации данных?

Стэн Шунпайк
источник
5
Есть замечательная статья Podsakoff et al. который рассматривает распространенный метод смещения и предлагает как статистические, так и процедурные меры: ln.edu.hk/mkt/staff/gcui/CommonMethodBias.pdf Посмотрите на Таблицу 2.
Айхан
10
У вас есть иррациональная презумпция иррациональности. Вы не можете применить функцию полезности к результату. В приведенном вами примере предположите, что у человека есть 1000 долларов, и он должен использовать его, чтобы погасить ссуду гангстеру через минуту, или он будет убит гангстером. 100% -ная вероятность потери $ 1000 приводит к 100% -ной вероятности быть убитым, тогда как 50% -ная вероятность потери $ 2500 приводит только к 50% -ной вероятности быть убитым. Как экономист, вы должны быть настроены на полезность в качестве отправной точки, прежде чем объявлять иррациональность.
Марк Л. Стоун
3
Статистики обычно не проводят такого рода исследования. Интересно, подходит ли этот вопрос для сайта Psychology & Neuroscience SE?
gung - Восстановить Монику
3
Я думаю, что эффект уличного освещения - поиск потерянных ключей (данных) под столбом освещения, потому что именно там находится свет ночью, - чрезвычайно распространен, особенно сейчас, с таким большим количеством простых данных при нажатии. // Нет «рационального способа» сбора данных, потому что вы - исследователь, собирающий их - не рандомизированы.
AS

Ответы:

23

Я думаю, что в академических кругах, р-значения очень часто неправильно интерпретируются. Люди склонны забывать, что значение p выражает условную вероятность. Даже если эксперимент был проведен безупречно и все требования выбранного статистического теста выполнены, частота ложных открытий обычно намного выше, чем уровень значимости альфа. Уровень ложных открытий увеличивается с уменьшением статистической мощности и распространенности истинных положительных результатов (Colquhoun, 2014; Nuzzo, 2014).

Кроме того, люди склонны считать свои оценки правдой, а параметр - случайным (Haller & Kraus, 2002). Например, когда они говорят, что в «95% случаев этот идентифицированный доверительный интервал охватывает параметр» ...

Смешение корреляции и причинности, вероятно, также является очень распространенной ошибкой в ​​интерпретации данных.

Что касается сбора данных, я думаю, что распространенной ошибкой является выбор наиболее доступной, а не наиболее представительной выборки.

Colquhoun, D. (2014). Исследование частоты ложных открытий и неправильной интерпретации значений P. Королевское общество открытой науки, 1–15.

Нуццо, Р. (2014). Статистические ошибки: значения P, «золотой стандарт» статистической достоверности не так надежны, как предполагают многие ученые. Природа, 506, 150–152.

Haller, H. & Kraus, S. (2002): неправильное толкование значения: проблема, которую студенты разделяют со своими учителями? Методы психологического исследования онлайн, т.7, № 1

пчелиный парень
источник
19

Я бы сказал, что общая неспособность оценить, как выглядит настоящая случайность. Люди, кажется, ожидают слишком мало ложных паттернов, чем на самом деле происходит в последовательности случайных событий. Это также проявляется, когда мы пытаемся симулировать случайность самостоятельно.

Другим довольно распространенным явлением является не понимание независимости, как в заблуждении игрока. Иногда мы думаем, что предыдущие события могут повлиять на будущие, даже если это явно невозможно, например, предыдущая раздача перетасованной колоды карт, влияющая на будущую.

dsaxton
источник
7

Уже отмечалось, что многие из поведенческих и мыслительных процессов, которые экономисты (поведенческие) называют «иррациональными» или «предвзятыми», на самом деле очень адаптивны и эффективны в реальном мире. Тем не менее вопрос ОП интересен. Я думаю, однако, что может быть выгодно обратиться к более фундаментальным, описательным знаниям о наших когнитивных процессах, а не искать конкретные «предубеждения», которые соответствуют тем, которые обсуждались в экономической литературе (например, неприятие потерь, эффект одаренности, пренебрежение базой и т. д.).

Например, оцениваемость , безусловно, является проблемой при анализе данных. Теория оцениваемости утверждает, что у нас избыточный вес информации, которую мы находим легко интерпретировать или оценить. Рассмотрим случай коэффициента регрессии. Оценка «реальных» последствий коэффициента может быть тяжелой работой. Мы должны рассмотреть единицы независимой и зависимой переменной, а также распределения нашей независимой и зависимой переменной, чтобы понять, имеет ли коэффициент практическую значимость. С другой стороны, оценить значимость коэффициента легко: я просто сравниваю его значение p с моим альфа-уровнем. Учитывая большую оцениваемость p-значения по сравнению с самим коэффициентом, вряд ли удивительно, что так много сделано из p-значений.

(Стандартизация повышает оцениваемость коэффициента, но может усиливать неоднозначность : ощущение, что соответствующая информация недоступна или скрыта, поскольку «оригинальная» форма данных, которые мы обрабатываем, нам недоступна.)

Связанное с этим когнитивное «смещение» - это принцип конкретности, тенденция к избыточному весу информации, которая «тут же» в контексте решения и не требует извлечения из памяти. (Принцип конкретности также гласит, что мы, скорее всего, будем использовать информацию в том формате, в котором она предоставлена, и, как правило, избегаем выполнения преобразований.) Интерпретация p-значения может быть сделана простым рассмотрением результатов регрессии; это не требует от меня каких-либо существенных знаний о том, что я моделирую.

Я ожидаю, что многие отклонения в интерпретации статистических данных могут быть связаны с общим пониманием того, что мы, вероятно, пойдем простым путем при решении проблемы или формировании суждения (см. «Когнитивный скряга», «ограниченная рациональность» и т. Д.) , Соответственно, выполнение чего-либо «с легкостью» обычно повышает уверенность, с которой мы придерживаемся полученных убеждений ( теория беглости ). (Можно также рассмотреть возможность того, что данные, которые легче сформулировать- для нас самих или для других - переоценены в наших анализах.) Я думаю, что это становится особенно интересным, когда мы рассматриваем возможные исключения. Некоторые психологические исследования показывают, например, что если мы считаем, что проблему должно быть трудно решить, то мы можем отдать предпочтение подходам и решениям, которые являются менее конкретными и более сложными, например, выбрать более загадочный метод, чем простой.

Бенедикт MJG
источник
7

Самый большой фактор, который я могу придумать, широко известен как «предвзятость подтверждения». Определившись с тем, что, по моему мнению, покажет мое исследование, я некритически принимаю данные, которые приводят к такому выводу, и в то же время оправдываю все данные, которые, по-видимому, опровергают его. Я могу неосознанно отклонить как «очевидную ошибку прибора» (или некоторый эквивалент) любые данные, которые не соответствуют моему заключению. В некоторых случаях это не будет столь вопиющим; вместо того, чтобы полностью отбрасывать эти точки данных, я придумаю некоторую формулу, чтобы устранить «ошибку», которая будет удобно направлять результаты в подтверждение моего предопределенного заключения.

В этом нет ничего особенно гнусного; это просто, как работает наш мозг. Требуется много усилий, чтобы отфильтровать такое смещение, и это одна из причин, по которой ученым нравится создавать двойные слепые исследования, так что человек, проводящий измерения, не знает, что эксперимент должен доказать. Затем требуется огромная дисциплина, чтобы не корректировать то, что он точно измерял.

Монти Хардер
источник
1
Я думаю, что это самый опасный уклон, потому что он может произойти уже на этапе сбора данных, например, сбор данных в крошечной подвыборке, которая, скорее всего, подтвердит ваши ожидания, или использование наводящих вопросов опроса.
Стийн
1
Склонность к подтверждению может быть очень плохой между дисциплинами, где даже предполагаемая фундаментальная основа дисциплин различна, что приводит к утверждению, что «Х невозможно (использовать) вашу дисциплину (с ее методами восприятия), но очевидно в моей (мы можем смысл X) ". например, яблоки должны висеть на деревьях или лежать на земле; они не могут «упасть» по собственному желанию. Часто в физических науках происходит изменение математической основы, которая скрывает путаницу.
Филип Окли
6

Линейность .

Я думаю, что распространенным уклоном при интерпретации / анализе данных является то, что люди обычно быстро принимают линейные отношения. Математически регрессионная модель предполагает, что ее детерминированный компонент является линейной функцией предикторов; к сожалению, это не всегда так. Недавно я побывал на студенческой конференции по плакатам, и количество откровенно квадратичных или нелинейных трендов, которые, как я видел, было связано с линейной моделью, волновало, если не сказать больше.

p

usεr11852 говорит восстановить Monic
источник
2

Интересным примером являются дискуссии об ошибке игроков.

Должны ли существующие данные быть включены или исключены? Если я уже впереди с шестью шестерками, должны ли они быть включены в мой пробег дюжины попыток? Будьте ясны в отношении предыдущих данных.

Когда мне следует перейти от абсолютных чисел к коэффициентам? Требуется много времени, чтобы преимущество, полученное во время первой серии побед, вернулось к нулю (случайная прогулка).

0,1% от миллиона долларов, возможно, не так много для большой компании, но потерять 1000 долларов может быть жизнью и смертью для единственного трейдера (именно поэтому инвесторы хотят, чтобы «ведомые» люди вкладывали средства). Возможность перехода к процентам может быть предвзятым.

Даже статистики имеют предубеждения.

Филип Окли
источник
2

Я бы рекомендовал «Thinking, Fast и Slow» по Дэниел Канеман , что объясняет многие когнитивные предубеждения в ясном языке.

Вы также можете обратиться к « http://www.burns-stat.com/review-thinking-fast-slow-daniel-kahneman/ », в котором кратко изложены некоторые недостатки в вышеприведенной книге.

Для более подробного описания главы вы можете прочитать « https://erikreads.files.wordpress.com/2014/04/thinking-fast-and-slow-book-summary.pdf ».

Siddhesh
источник