Как количественно оценить статистическую незначимость?

9

Я относительно новичок в статистике и понимаю, что мой вопрос может быть полностью неверным. Я проверяю свой алгоритм против другого. Хотя результаты не идентичны, я хочу показать, что различия «статистически незначимы». Как я могу измерить это, чтобы выразить свою точку зрения?

Adam_G
источник
Это будет зависеть от того, с какими данными вы имеете дело, и насколько велики ваши выборки. Можете ли вы отредактировать свой пост, чтобы включить более подробный ответ?
naught101
Тест на эквивалентность приписывают отклонению неэквивалентности. Это заставляет вас выбирать размер выборки, достаточно большой, чтобы иметь мощность. Без изменения нулевой и альтернативной гипотезы в небольших выборках вы бы почти не изменили отклонение нулевой гипотезы о разнице. Но не отвергать - это не то же самое, что принимать из-за недостатка силы. Вот почему Блэквелдер делает неэквивалентность нулевой гипотезой, а для демонстрации эквивалентности необходимо отвергнуть ноль.
Майкл Р. Черник
Обратите внимание, что нулевая гипотеза состоит в том, что разница в средних больше, чем указанная дельта (окно эквивалентности).
Майкл Р. Черник

Ответы:

13

Если вы сравниваете две группы и не хотите показывать существенных различий, это называется проверкой эквивалентности. Это по существу полностью изменяет нулевую и альтернативную гипотезы. Идея состоит в том, чтобы определить интервал незначительности, называемый окном эквивалентности. Это часто используется при попытке показать, что непатентованный препарат является подходящей заменой продаваемому лекарству. Хороший источник, чтобы прочитать об этом - статья Уильяма Блэквелдера под названием «Доказательство нулевой гипотезы» в клинических испытаниях .

Майкл Р. Черник
источник
Спасибо, Майкл. Думаю, мне нужно проделать еще какую-то работу, прежде чем я смогу объявить данные «значимыми» или «несущественными». Я начну разбираться с этим и сообщу вам, если у меня возникнут дополнительные вопросы, которые, я уверен, у меня возникнут.
Adam_G
3
Только один последний комментарий. Односторонний вариант эквивалентности называется неуменьшением. Зачастую производители лекарств могут выводить на рынок так называемый препарат «я тоже», который даже не должен быть столь же эффективным по эффективности, как рыночный конкурент, при условии, что он не намного хуже (определяется дельтой, которая является окном для неполноценности). Это может быть сделано, потому что продукт предлагает потребителю некоторые другие преимущества, такие как меньшее количество доз в день или как в случае антикоагулянта, не нуждающегося в мониторинге МНО.
Майкл Р. Черник