Ссылки, содержащие аргументы против проверки значимости нулевой гипотезы?

За последние несколько лет я прочитал ряд статей, в которых приводил доводы против использования в науке проверки значимости нулевых гипотез, но не думал, что следует вести постоянный список. Недавно мой коллега попросил у меня такой список, и я подумал, что я бы попросил всех присутствующих помочь в его создании. Для начала вот что у меня так далеко:

• Йоханссон (2011) «Да здравствует невозможное: р-значения, доказательства и вероятность».
• Haller & Kraus (2002) «Неправильное истолкование значимости: проблема, которую студенты делят со своими учителями».
• Wagenmakers (2007) «Практическое решение распространяющейся проблемы p-значений».
• Роджерс (2010) "Эпистемология математического и статистического моделирования: тихая методологическая революция".
• Диксон (1998) «Почему ученые ценят р-значения».
• Гловер и Диксон (2004) «Коэффициенты правдоподобия: простая и гибкая статистика для эмпирических психологов».

Крис Фрэли читал целый курс по истории дебатов (ссылка, кажется, не работает, хотя она все еще находится на его официальном сайте; вот копия в интернет-архиве ). Его резюме / заключение здесь (опять же, заархивированная копия ). Согласно домашней странице Фрэли, последний раз он читал этот курс в 2003 году.

Он предваряет этот список «предвзятостью преподавателя»:

Хотя моя цель состоит в том, чтобы способствовать оживленным, глубоким и справедливым дискуссиям по рассматриваемым вопросам, я считаю, что необходимо с самого начала сделать свое предубеждение явным. Пол Миль однажды заявил, что «сэр Рональд [Фишер] озадачил нас, загипнотизировал нас и привел нас на путь первоцвета. Я считаю, что почти универсальная опора на простое опровержение нулевой гипотезы в качестве стандартного метода подтверждения субстантивных теорий в мягком Районы - это ужасная ошибка, в основном несостоятельная, плохая научная стратегия и одна из худших вещей, которые когда-либо случались в истории психологии ». Я повторяю мнение Мила. Одна из моих целей на этом семинаре - прояснить, почему я считаю, что это так. Кроме того, я ожидаю, что к тому времени, когда вы закончите этот семинар,

Я скопирую в список чтения на случай, если страница курса исчезнет:

Неделя 1. Введение. Что такое тест на значимость нулевой гипотезы? Факты, мифы и состояние нашей науки

• Lyken, DL (1991). Что не так с психологией? В D. Cicchetti & WM Grove (eds.), Ясное мышление о психологии, вып. 1: Вопросы общественного интереса, очерки в честь Пола Э. Миля (стр. 3 - 39). Миннеаполис, Миннесота: Университет Миннесотской Прессы.

Неделя 2. Ранняя критика НХСТ

• Meehl, PE (1967). Тестирование теории в психологии и физике: методологический парадокс. Философия науки, 34, 103-115.

• Meehl, PE (1978). Теоретические риски и табличные звездочки: сэр Карл, сэр Рональд и медленный прогресс в мягкой психологии. Журнал консалтинга и клинической психологии, 46, 806-834.

• Розебум, WW (1960). Ошибка теста значимости нулевой гипотезы. Психологический вестник, 57, 416-428.

• Бакан Д. (1966). Тест значимости в психологическом исследовании. Психологический вестник, 66, 423-437. [по желанию]

Неделя 3. Современная критика НХСТ

• Коэн, J. (1994). Земля круглая (р <.05). Американский психолог, 49, 997-1003.

• Gigerenzer, G. (1993). Суперэго, эго и идентификатор в статистических рассуждениях. В G. Keren & C. Lewis (Eds.), Справочник по анализу данных в поведенческих науках: методологические вопросы (стр. 311-339). Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.

• Schmidt, FL & Hunter, JE (1997). Восемь распространенных, но ложных возражений против прекращения значимого тестирования при анализе данных исследований. В Лизе А. Харлоу, Стэнли А. Мулайке и Джеймсе Х. Штайгере (ред.) Что, если бы не было тестов значимости? (с. 37-64). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.

• Оукс, М. (1986). Статистический вывод: комментарий для социальных и поведенческих наук. Нью-Йорк: Уайли. (Глава 2 [Критика тестов значимости]) [опционально]

Неделя 4. Опровержение: защитники NHST приходят на его защиту

• Фрик, RW (1996). Надлежащее использование проверки нулевой гипотезы. Психологические методы, 1, 379-390.

• Хаген Р.Л. (1997). В похвалу нулевой гипотезы статистического теста. Американский психолог, 52, 15-24.

• Уилкинсон Л. & Целевая группа по статистическому выводу. (1999). Статистические методы в психологических журналах: методические рекомендации и пояснения. Американский психолог, 54, 594-604.

• Wainer, H. (1999). Одно приветствие для проверки значимости нулевой гипотезы. Психологические методы, 6, 212-213.

• Мулайк С.А., Раджу Н.С. и Харшман Р.А. (1997). Есть время и место для проверки значимости. В Lisa A. Harlow, Stanley A. Mulaik и James H. Steiger, Eds. Что если бы не было тестов значимости? (стр. 65-116). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс. [по желанию]

Неделя 5. Опровержение: защитники NHST приходят на его защиту

• Абельсон Р.П. (1997). Об удивительной долговечности поролых лошадей: почему есть основание для проверки значимости. Психологическая наука, 8, 12-15.

• Крюгер, J. (2001). Проверка значимости нулевой гипотезы: о выживаемости некорректного метода. Американский психолог, 56, 16-26.

• Scarr S. (1997). Правила доказывания: более широкий контекст для статистических дебатов. Психологическая наука, 8, 16-17.

• Гринвальд А.Г., Гонсалес Р., Харрис Р.Дж. и Гатри Д. (1996). Размеры эффекта и значения p: что следует сообщать и что следует тиражировать? Психофизиология, 33, 175-183.

• Никерсон, РС (2000). Проверка значимости нулевой гипотезы: обзор старой и продолжающейся полемики. Психологические методы, 5, 241-301. [по желанию]

• Harris, RJ (1997). Значимые испытания имеют свое место. Психологическая наука, 8, 8-11. [по желанию]

Неделя 6. Эффект Размер

• Розенталь Р. (1984). Метааналитические процедуры для социальных исследований. Беверли Хиллз, Калифорния: Мудрец. [Ch. 2, Определение результатов исследований]

• Чоу, SL (1988). Значение теста или размер эффекта? Психологический вестник, 103, 105-110.

• Абельсон Р.П. (1985). Парадокс объяснения дисперсии: когда мало - это много. Психологический вестник, 97, 129-133. [по желанию]

Неделя 7. Статистическая сила

• Hallahan, M. & Rosenthal, R. (1996). Статистическая мощность: концепции, процедуры и приложения. Поведенческие исследования и терапия, 34, 489-499.

• Sedlmeier, P. & Gigerenzer, G. (1989). Влияет ли изучение статистической мощности на мощность исследований? Психологический вестник, 105, 309-316.

• Коэн, J. (1962). Статистическая сила аномально-социального психологического исследования: обзор. Журнал аномальной и социальной психологии, 65, 145-153. [по желанию]

• Мэддок, JE, Росси, JS (2001). Статистическая сила статей, опубликованных в трех журналах, посвященных психологии здоровья. Психология здоровья, 20, 76-78. [по желанию]

• Thomas, L. & Juanes, F. (1996). Важность статистического анализа мощности: пример из поведения животных. Поведение животных, 52, 856-859. [по желанию]

• Росси, JS (1990). Статистическая сила психологического исследования: что мы приобрели за 20 лет? Журнал консалтинга и клинической психологии, 58, 646-656. [по желанию]

• Tukey, JW (1969). Анализ данных: освящение или детективная работа? Американский психолог, 24, 83-91. [по желанию]

Неделя 8. Доверительные интервалы и тестирование значимости

• Гарднер, MJ & DG Altman. 1986. Доверительные интервалы, а не значения P: оценка, а не проверка гипотез. British Medical Journal, 292, 746-750.

• Камминг Г. и Финч С. (2001). Учебник по пониманию, использованию и расчету доверительных интервалов, основанных на центральном и нецентральном распределениях. Образовательные и психологические измерения, 61, 532-574.

• Loftus, GR & Masson, MEJ (1994). Использование доверительных интервалов в рамках проекта. Psychonomic Bulletin and Review, 1, 476-490.

Неделя 9 [примечание: мы пропускаем этот раздел]. Теоретическое моделирование: разработка формальных моделей природных явлений

• Haefner, JW (1996). Моделирование биологических систем: принципы и приложения. Нью-Йорк: Интернешнл Томсон Паблишинг. (Главы 1 [Модели систем] и 2 [Процесс моделирования])

• Лёлин, JC (1992). Модели скрытых переменных: введение в факторный, путевой и структурный анализ. Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс. (Глава 1 [Модели пути в факторе, пути и структурном анализе], стр. 1-18]

• Грант Д.А. (1962). Проверка нулевой гипотезы и стратегии исследования теоретических моделей. Психологический обзор, 69, 54-61. [по желанию]

• Биндер, А. (1963). Дополнительные соображения по проверке нулевой гипотезы, а также стратегии и тактики исследования теоретических моделей. Психологический обзор, 70, 107-115. [по желанию]

• Эдвардс, В. (1965). Тактическая заметка о связи научных и статистических гипотез. Психологический вестник, 63, 400-402. [по желанию]

Неделя 10. Что означает вероятность? Противоречие относительно относительной частоты и субъективной вероятности

• Сальсбург Д. (2001). Леди, дегустирующая чай: как статистика революционизировала науку в двадцатом веке. Нью-Йорк: WH Freeman. (Главы 10, 11 и 12)

• Оукс, М. (1986). Статистический вывод: комментарий для социальных и поведенческих наук. Нью-Йорк: Уайли. (Главы 4, 5 и 6)

• Прузек Р.М. (1997). Введение в байесовский вывод и его приложения. В Lisa A. Harlow, Stanley A. Mulaik и James H. Steiger, Eds. Что если бы не было тестов значимости? (стр. 287-318). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.

• Риндскоф Д.М. (1997). Проверка гипотезы «малая», а не нулевая: классический и байесовский подходы. В Лиза А. Харлоу, Стэнли А. Мулайк и Джеймс Х. Стейгер (ред.). Что если бы не было тестов значимости? (с. 319-332). Махва, Нью-Джерси: Лоуренс Эрлбаум Ассошиэйтс.

• Edwards, W., Lindman, H., Savage, LJ (1963). Байесовский статистический вывод для психологических исследований. Психологический обзор, 70, 193-242. [по желанию]

11 неделя. Теоретическая оценка: философия науки и проверка и исправление теорий

• Meehl, PE (1990). Оценка и внесение изменений в теории: стратегия защиты Лакатосиана и два принципа, которые ее оправдывают. Психологический запрос, 1, 108-141.

• Робертс С. и Пашлер Х. (2000). Насколько убедительна хорошая подгонка? Комментарий к теории тестирования. Психологический обзор, 107, 358-367.

12 неделя. Теоретическая оценка: философия науки и проверка и исправление теорий

• Урбах П. (1974). Прогресс и вырождение в «IQ дебатах» (I). Британский журнал философии науки, 25, 99-125.

• Serlin, RC & Lapsley, DK (1985). Рациональность в психологическом исследовании: принцип достаточно хорошего. Американский психолог, 40, 73-83.

• Дар Р. (1987). Еще один взгляд на Meehl, Lakatos и научные практики психологов. Американский психолог, 42, 145-151.

• Голсон Б. и Баркер П. (1985). Kuhn, Lakatos & Laudan: приложения в истории физики и психологии. Американский психолог, 40, 755-769. [по желанию]

• Faust, D. & Meehl, PE (1992). Использование научных методов для решения вопросов истории и философии науки: несколько иллюстраций. Поведенческая терапия, 23, 195-211. [по желанию]

• Урбах П. (1974). Прогресс и вырождение в «IQ дебатах» (II). Британский журнал философии науки, 25, 235-259. [по желанию]

• Лосось, туалет (1973, май). Подтверждение. Scientific American, 228, 75-83. [по желанию]

• Meehl, PE (1993). Философия науки: помощь или помеха? Психологические отчеты, 72, 707-733. [необязательно] Маники. PT & Secord, PF (1983). Последствия для психологии новой философии науки. Американский психолог, 38, 399-413. [по желанию]

Неделя 13. Подорвала ли традиция NHST непредвзятую накопленную базу знаний по психологии?

• Купер Х., ДеНев К. и Чарлтон К. (1997). Обнаружение недостающей науки: судьба исследований, представленных на рассмотрение комитета по человеческим предметам. Психологические методы, 2, 447-452.

• Шмидт, Флорида (1996). Статистическая значимость тестирования и накопленные знания в психологии: последствия для подготовки исследователей. Психологические методы, 1, 115-129.

• Greenwald, AG (1975). Последствия предубеждения против нулевой гипотезы. Психологический вестник, 82, 1-20.

• Berger, JO & Berry, DA (1988). Статистический анализ и иллюзия объективности. Американский ученый, 76, 159-165.

14 неделя. Репликация и научная целостность

• Смит, Северная Каролина (1970). Репликационные исследования: забытый аспект психологических исследований. Американский психолог, 25, 970-975.

• Sohn, D. (1998). Статистическая значимость и воспроизводимость: почему первое не предвещает второго. Теория и психология, 8, 291-311.

• Meehl, PE (1990). Почему резюме исследований по психологическим теориям часто невозможно объяснить. Психологические отчеты, 66, 195-244.

• Платт, JR (1964). Сильный вывод. Science, 146, 347-353.

• Фейнман Р.Л. (1997). Конечно, вы шутите, мистер Фейнман! Нью-Йорк: WW Нортон. (Глава: Груз-культовая наука).

• Rorer, LG (1991). Некоторые мифы науки в психологии. В D. Cicchetti & WM Grove (eds.), Ясное мышление о психологии, вып. 1: Вопросы общественного интереса, очерки в честь Пола Э. Миля (стр. 61 - 87). Миннеаполис, Миннесота: Университет Миннесотской Прессы. [по желанию]

• Линдсей, Р.М. и Эренберг, ASC (1993). Дизайн тиражируемых исследований. Американский статистик, 47, 217-228. [по желанию]

Неделя 15. Количественное мышление: зачем нам математика (а не NHST как таковая) в психологической науке

• Aiken, LS, West, SG, Sechrest L., & Reno, RR (1990). Аспирантура по статистике, методологии и измерениям в психологии: опрос к.т.н. программы в Северной Америке. Американский психолог, 45, 721-734.

• Meehl, PE (1998, май). Сила количественного мышления. Приглашенный адрес в качестве лауреата премии Джеймса МакКин Кэттелл на ежегодном собрании Американского психологического общества, Вашингтон, округ Колумбия.

Это отличные ссылки. У меня есть, возможно, полезный раздаточный материал на http://biostat.mc.vanderbilt.edu/wiki/pub/Main/FHHandouts/whyBayesian.pdf

402 Цитаты, ставящие под сомнение неизбирательное использование тестов значимости нулевой гипотезы в наблюдательных исследованиях: http://warnercnr.colostate.edu/~anderson/thompson1.html