В чем разница между «проверкой гипотезы» и «проверкой значимости»?

Есть ли разница между фразами «проверка гипотезы» и «проверка значимости» или они одинаковы?

После подробного ответа от @Micheal Lew у меня возникла путаница, что в настоящее время гипотеза (например, t-критерий для проверки среднего) является примером «проверки значимости» или «проверки гипотез»? Или это комбинация обоих? Как бы вы их дифференцировали на простом примере?

Проверка значимости - это то, что разработал Фишер, а проверка гипотез - это то, что Нейман и Пирсон разработали для замены проверки значимости. Они не одинаковы и взаимно несовместимы до такой степени, что удивили бы большинство пользователей тестов нулевых гипотез.

Тесты значимости Фишера дают значение ap, которое показывает, насколько экстремальными являются наблюдения при нулевой гипотезе. Это значение p является показателем против нулевой гипотезы и уровня значимости.

Тесты гипотез Неймана и Пирсона устанавливают как нулевую гипотезу, так и альтернативную гипотезу и работают как правило принятия решения для принятия нулевой гипотезы. Вкратце (здесь есть нечто большее, чем я могу описать здесь), вы выбираете приемлемый уровень ложноположительного вывода, альфа (обычно 0,05), и либо принимаете, либо отклоняете ноль в зависимости от того, является ли значение р выше или ниже альфа. Вы должны соблюдать решение статистического теста, если хотите защитить себя от ложноположительных ошибок.

Подход Фишера позволяет вам принимать во внимание все, что вам нравится, при интерпретации результата, например, ранее полученные данные могут быть неофициально приняты во внимание при интерпретации и представлении результата. В подходе NP это может быть сделано только на стадии экспериментального проектирования, и, кажется, это делается редко. По моему мнению, подход Fisherian более полезен в базовой бионаучной работе, чем подход NP.

Существует много литературы о несоответствиях между проверкой значимости и проверкой гипотез и о неудачной гибридизации обоих. Вы можете начать с этой статьи: Goodman, К научно-обоснованной медицинской статистике. 1: ошибка значения P http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

Во многих случаях эти два утверждения означают одно и то же. Тем не менее, они также могут быть совершенно разными.

Проверка гипотезы состоит в том, чтобы сначала сказать, что, по вашему мнению, произойдет с каким-либо явлением, затем разработать какой-то тест для этого явления, а затем определить, действительно ли это явление произошло. Во многих случаях проверка гипотезы не должна включать какой-либо статистический тест. Мне напомнил об этой цитате физик Эрнест Резерфорд. - Если ваш эксперимент требует статистики, вам следовало бы провести лучший эксперимент. При этом при проверке гипотез обычно используется какой-то статистический инструмент.

Напротив, проверка значимости является чисто статистическим понятием. По сути, у одной есть две гипотезы - нулевая гипотеза, которая утверждает, что нет разницы между вашими двумя (или более) коллекциями данных. Альтернативная гипотеза состоит в том, что между вашими двумя образцами есть разница, которая не произошла случайно.

Основываясь на структуре вашего исследования, вы затем сравниваете две (или более) выборки, используя статистический тест, который дает вам число, которое затем сравнивается с эталонным распределением (таким как нормальное, t или F распределение) и, если эта тестовая статистика превышает критическое значение, вы отвергаете нулевую гипотезу и делаете вывод, что существует разница между двумя (или более) выборками. Этот критерий обычно заключается в том, что вероятность возникновения разницы случайно составляет менее одного из двадцати (р <0,05), хотя иногда используются и другие.