Как выбрать уровень доверия?

12

Я часто использую уровень достоверности 90%, признавая, что он имеет большую степень неопределенности, чем 95% или 99%.

Но есть ли рекомендации, как правильно выбрать уровень доверия? Или руководящие принципы для уровней доверия, используемых в различных областях?

Кроме того, при интерпретации и представлении уровней достоверности существуют ли какие-либо руководства, чтобы превратить число в язык? Например, такие руководства, как это для Pearson's r ( редактировать: эти описания для социальных наук):

http://faculty.quinnipiac.edu/libarts/polsci/Statistics.html

Обновить

Спасибо за ответы ниже. Все они были ОЧЕНЬ полезны, проницательны и поучительны.

Кроме того, ниже приведены несколько хороших статей по выбору уровня значимости (по сути, тот же вопрос), с которыми я столкнулся при рассмотрении этого вопроса. Они подтверждают сказанное в ответах ниже.

«Каково значение 0,05 значимости?»

http://www.p-value.info/2013/01/whats-significance-of-005-significance_6.html

«Об истоках .05 уровня статистической значимости»

http://www.radford.edu/~jaspelme/611/Spring-2007/Cowles-n-Davis_Am-Psyc_orignis-of-05-level.pdf

«Научный метод: статистические ошибки»

http://www.nature.com/news/scientific-method-statistical-errors-1.14700

Оливер Моран
источник

Ответы:

9

В дополнение к отличному ответу Тима, даже в поле есть различные причины для определенных доверительных интервалов. Например, в клинических испытаниях лака для волос вы хотели бы быть очень уверенными, что ваше лечение вряд ли кого-нибудь убьет, скажем, 99,99%, но вы будете в полном порядке с 75% -ным доверительным интервалом, что ваш лак для волос заставляет волосы оставаться Прямо.

В целом, доверительные интервалы должны использоваться таким образом, чтобы вы чувствовали себя комфортно с неопределенностью, но также они не настолько строги, чтобы снизить эффективность вашего исследования до неуместности. Доверительный интервал 90% означает, что при повторении выборки можно ожидать, что один раз в десять генерируемых интервалов не будет включать в себя истинное значение. Исходя из того, что вы исследуете, это приемлемо? С другой стороны, если вы предпочитаете доверительный интервал 99%, достаточно ли размера вашей выборки, чтобы интервал не был слишком большим? (Надеюсь, вы решаете уровень CI, прежде чем приступить к изучению, верно?)

По моему опыту (в социальных науках) и из того, что я видел в отношении моей жены (в биологических науках), хотя существуют различные стандарты КИ / значимости в различных областях и различных конкретных случаях, для Большинство споров по теме - правильно ли вы установили интервал CI или уровень значимости. Я был на собраниях, где статистик терпеливо объяснял клиенту, что, хотя им может понравиться двусторонний доверительный интервал 99%, для того чтобы его данные когда-либо показывали значимость, им придется увеличить выборку в десять раз; и я был на собраниях, где клиенты спрашивают, почему ни один из их данных не показывает существенной разницы, где мы терпеливо объясняем им, что они выбрали высокий интервал - или наоборот, все важно, потому что был запрошен меньший интервал.

Я предлагаю прочитать некоторые из основных статей в вашей области (как можно ближе к вашей конкретной теме) и посмотреть, что они используют; объедините это с вашим уровнем комфорта и размером выборки; а затем будьте готовы защищать то, что вы выбираете, с этой информацией под рукой. Если вы не в поле с очень строгими правилами - я подозреваю, что клинические испытания являются единственными, которые действительно настолько строги, по крайней мере, из того, что я видел, - вы не получите ничего лучше. (И если будут строгие правила, я бы ожидал, что основные документы в вашей области будут следовать им!)

Джо
источник
5
На рынке продаются тысячи лаков для волос. Я полагаю, что мы бы предпочли, чтобы никто из них не убивал людей. Эта кажется слишком снисходительной. ;)α
Алексис
2
@Alexis К сожалению, для каждых нескольких тысяч пользователей один из них, вероятно, забудет никогда не использовать зажигалку при распылении волос ...
Джо
2
«90% доверительный интервал означает, что один раз в десять вы найдете выброс». Это совершенно неправильно, если я не
читаю
2
90% ДИ означает, что в 90% случаев среднее значение находится в пределах доверительного интервала, а 10% - вне (с одной или другой стороны) интервала. Таким образом, 1 раз из 10 ваши результаты не включают в себя истинное среднее значение. Возможно, «выброс» - это неправильное слово (хотя КИ часто (неправильно) используются для этой цели.)
Джо
@ Джо, я понимаю, что это старый раздел комментариев, но это неправильно. Вы можете иметь КИ любого уровня «уверенности», который никогда не включает истинное значение. Смотрите здесь: stats.stackexchange.com/a/26457/176202
Франс Роденбург
20

Выбор диапазона доверительных интервалов является субъективным решением. Вы можете выбрать буквально любой доверительный интервал: 50%, 90%, 99,999% ... и т. Д. Это зависит от того, какой степени доверия вы хотите иметь. Вероятно, наиболее часто используемые 95% ДИ.

Что касается интерпретации и ссылки, которую вы предоставили ... Такие интерпретации являются упрощением . Корреляция является хорошим примером, потому что в разных контекстах разные значения могут рассматриваться как «сильная» или «слабая» корреляция, взгляните на случайный пример из Интернета :

  • Однажды я спросил химика, который калибровал лабораторный прибор по стандарту, какое значение коэффициента корреляции она искала. «0,9 слишком низко. Вам нужно как минимум 0,98 или 0,99 ». Она получила номер из правительственного руководства.
  • Однажды я спросил инженера, который проводил регрессионный анализ процесса лечения, какое значение коэффициента корреляции он искал. «Все, что между 0,6 и 0,8 приемлемо». Его профессор колледжа сказал ему это.
  • Однажды я спросил биолога, который проводил ANOVA размера полевых мышей, живущих на загрязненных и нетронутых почвах, какое значение коэффициента корреляции он искал. Он не знал, но его отсечка составляла 0,2 на основе наименьшей разницы в размерах, которую его модель могла обнаружить по количеству образцов, которые он имел.

Извините, но ярлыков нет ...

Чтобы лучше понять, что такое доверительные интервалы, вы можете прочитать о них больше, например, здесь , здесь или здесь .

Тим
источник
1
Отлично сказано. +1.
говорит амеба: восстанови Монику
То, что вы говорите об описании корреляций, верно. Это полностью связано с полем. Описания в ссылке для общественных наук. Я полагаю, что описание доверительного интервала будет также зависеть от поля.
Оливер Моран
9

Хотя, как правило, уровни доверия остаются на усмотрение аналитика, бывают случаи, когда они устанавливаются законами и нормативными актами. Я приведу два примера.

При банковском надзоре вы должны использовать уровень доверия 99% при расчете определенных рисков, см. П.2 настоящего Базельского регламента .

FDA может дать указание использовать определенные уровни достоверности для тестирования на наркотики и устройства в своих статистических методологиях.

В целом, рекомендуется проконсультироваться со специалистом в своей области, чтобы узнать, какова принятая практика и правила, касающиеся уровней доверия.

Аксакал
источник