Как интерпретировать доверительный интервал разницы в средних значениях в одном выборочном Т-тесте?

SPSS обеспечивает вывод «доверительный интервал разности средних». Я читал в некоторых местах, что это означает, что «95 раз из 100, наша выборочная средняя разница будет между этими границами», я нахожу это неясным. Кто-нибудь может предложить более четкую формулировку для объяснения «доверительного интервала разницы в средствах»? Этот вывод появляется в контексте t-критерия с одним образцом.

Это непросто даже для уважаемых статистиков. Посмотрите на одну недавнюю попытку Нейта Сильвера :

... если бы я попросил вас сказать мне, как часто ваша поездка занимает на 10 минут больше, чем в среднем - то, что требует некоторой версии доверительного интервала - вам придется подумать об этом немного, ...

(из блога FiveThirtyEight в New York Times, 29.09.10.) Это не доверительный интервал. В зависимости от того, как вы его интерпретируете, это либо интервал допуска, либо интервал прогнозирования. (В противном случае нет ничего плохого в том, что г-н Сильвер отлично рассказал об оценке вероятностей; это хорошее чтение.) Многие другие веб-сайты (особенно те, которые ориентированы на инвестиции) также путают доверительные интервалы с другими типами интервалов.

«Нью-Йорк Таймс» предприняла усилия, чтобы уточнить значение статистических результатов, которые она представляет и о которых сообщает. Мелкий шрифт под многими опросами включает в себя что-то вроде этого:

Теоретически, в 19 случаях из 20 результаты, основанные на таких выборках всех взрослых, будут отличаться не более чем на три процентных пункта в любом направлении от того, что было бы получено при опросе всех взрослых американцев.

( Например , как проводился опрос , 2/2/2011.)

Возможно, немного многословно, но ясно и точно: это утверждение характеризует изменчивость выборочного распределения результатов опроса. Это приближается к идее доверительного интервала, но это не совсем так. Однако во многих случаях можно рассмотреть возможность использования такой формулировки вместо доверительных интервалов.

Когда в Интернете так много путаницы, полезно обратиться к авторитетным источникам. Один из моих любимых - проверенный временем текст Freedman, Pisani & Purves, Статистика. Теперь, в своем четвертом издании, он используется в университетах более 30 лет и отличается ясными, понятными объяснениями и фокусировкой на классических «частых» методах. Давайте посмотрим, что он говорит о интерпретации доверительных интервалов:

Уровень достоверности 95% говорит о процедуре отбора проб ...

[на стр. 384; все цитаты из третьего издания (1998)]. Это продолжается,

Если бы образец вышел по-другому, доверительный интервал был бы другим. ... Примерно для 95% всех выборок интервал ... охватывает процент населения, а для остальных 5% - нет.

[п. 384]. В тексте гораздо больше говорится о доверительных интервалах, но этого достаточно, чтобы помочь: его подход заключается в том, чтобы перенести фокус обсуждения на образец, одновременно привнося строгость и ясность в утверждения. Поэтому мы можем попробовать то же самое в наших собственных отчетах. Например, давайте применим этот подход к описанию доверительного интервала [34%, 40%] вокруг сообщенной процентной разницы в гипотетическом эксперименте:

«В этом эксперименте использовалась случайно выбранная выборка субъектов и случайный выбор контролей. Мы сообщаем о доверительном интервале от 34% до 40% для разницы. Это количественно определяет надежность эксперимента: если выбор субъектов и контролей был другим этот доверительный интервал изменится, чтобы отразить результаты для выбранных субъектов и контролей. В 95% таких случаев доверительный интервал будет включать истинную разницу (между всеми субъектами и всеми контролями), а в остальных 5% случаев он не будет Поэтому вполне вероятно, но не обязательно, что этот доверительный интервал включает в себя истинную разницу: то есть мы считаем, что истинная разница составляет от 34% до 40% ».

(Это мой текст, который, безусловно, можно улучшить: я приглашаю редакторов поработать над ним.)

Такое длинное утверждение несколько громоздко. В реальных отчетах большая часть контекста - случайная выборка, субъекты и контроли, возможность изменчивости - уже будет установлена, что сделает ненужной половину предыдущего утверждения. Когда в отчете указывается, что существует выборочная изменчивость и показана вероятностная модель для результатов выборки, обычно нетрудно объяснить доверительный интервал (или другой случайный интервал) так четко и строго, как этого требует аудитория.

С педантичной технической точки зрения я лично не думаю, что есть «четкая формулировка» интерпретации доверительных интервалов.

Я бы интерпретировал доверительный интервал как: есть 95% вероятность того, что 95% доверительный интервал покрывает истинную среднюю разницу

$N$$N$

$N-1$

Но учтите, что это все в философии. Доверительные интервалы лучше оставить неопределенными в объяснениях, как мне кажется. Они дают хорошие результаты при правильном использовании.

Грубый ответ на этот вопрос заключается в том, что 95% доверительный интервал позволяет вам на 95% быть уверенным, что истинное значение параметра находится в пределах этого интервала. Тем не менее, этот грубый ответ является неполным и неточным.

Неполнота заключается в том, что не ясно, что «95% уверенности» означает что-то конкретное, или, если это так, то этот конкретный смысл не будет универсально согласован даже небольшой выборкой статистиков. Значение доверия зависит от того, какой метод использовался для получения интервала и какая модель логического вывода используется (что, я надеюсь, станет более понятным ниже).

Неточность заключается в том, что многие доверительные интервалы не предназначены для того, чтобы сообщать вам что-либо о местонахождении истинного значения параметра для конкретного экспериментального случая, который дал доверительный интервал! Это будет удивлять многих, но это следует непосредственно из философии Неймана-Пирсона, которая четко изложена в этой цитате из их статьи 1933 года «О проблеме наиболее эффективных проверок статистических гипотез»:

Мы склонны считать, что в отношении конкретной гипотезы ни один тест, основанный на теории вероятностей, сам по себе не может предоставить какого-либо ценного доказательства истинности или ложности этой гипотезы.

Но мы можем взглянуть на цель тестов с другой точки зрения. Не надеясь узнать, является ли каждая отдельная гипотеза истинной или ложной, мы можем искать правила, управляющие нашим поведением по отношению к ним, следуя которым мы заверяем, что в долгом опыте мы не будем слишком часто ошибаться.

Таким образом, интервалы, основанные на «инверсии» тестов гипотез NP, будут наследовать от этого теста природу известных долгосрочных свойств ошибок, не позволяя сделать вывод о свойствах эксперимента, который их дал! Насколько я понимаю, это защищает от индуктивного вывода, который, по-видимому, Нейман считал мерзостью.

Нейман явно претендует на термин «доверительный интервал» и на происхождение теории доверительных интервалов в своей статье 1941 года «Биометрика» «Доверительный аргумент и теория доверительных интервалов». Таким образом, в некотором смысле все, что является доверительным интервалом, воспроизводится по его правилам, и поэтому значение отдельного интервала может быть выражено только в терминах долгосрочной скорости, с которой интервалы, рассчитанные этим методом, содержат (охватывают) соответствующую значение параметра.

Теперь нам нужно раскошелиться на обсуждение. Одна нить следует за понятием «охват», а другая следует за ненеймановскими интервалами, которые подобны доверительным интервалам. Я отложу первый, чтобы закончить этот пост, пока он не стал слишком длинным.

Существует много разных подходов, которые дают интервалы, которые можно назвать ненеймановскими доверительными интервалами. Первым из них являются доверительные интервалы Фишера. (Слово «опознавательный» может напугать многих и вызвать насмешливые ухмылки от других, но я оставлю это в стороне ...) Для некоторых типов данных (например, нормальных с неизвестной дисперсией населения) интервалы, рассчитанные по методу Фишера, численно идентичны интервалы, которые будут рассчитаны по методу Неймана. Тем не менее, они предлагают толкования, которые диаметрально противоположны. Неймановские интервалы отражают только долгосрочные свойства покрытия метода, тогда как интервалы Фишера предназначены для поддержки индуктивного вывода относительно истинных значений параметров для конкретного проведенного эксперимента.

Тот факт, что один набор интервальных границ может быть получен из методов, основанных на любой из двух философски различных парадигм, приводит к действительно запутанной ситуации - результаты могут быть интерпретированы двумя противоречивыми способами. Исходя из доверия, 95% вероятности того, что конкретный 95% доверительный интервал будет содержать истинное значение параметра. Из метода Неймана мы знаем только то, что 95% интервалов, рассчитанных таким образом, будут содержать истинное значение параметра, и должны сказать, что вводит в заблуждение вероятность того, что интервал, содержащий истинное значение параметра, неизвестен, но либо 1, либо 0.

В значительной степени подход Неймана господствовал над подходом Фишера. Это, на мой взгляд, весьма прискорбно, потому что это не приводит к естественной интерпретации интервалов. (Перечитайте цитату выше от Неймана и Пирсона и посмотрите, соответствует ли она вашей естественной интерпретации экспериментальных результатов. Скорее всего, нет.)

Если интервал можно правильно интерпретировать в терминах глобальных коэффициентов ошибок, а также в терминах локальных логических выводов, я не вижу веской причины запрещать пользователям интервалов более естественную интерпретацию, предоставляемую последним. Таким образом, я предполагаю, что правильная интерпретация доверительного интервала является ОБА из следующих:

• Neymanian: этот 95% интервал был построен методом, который дает интервалы, которые покрывают истинное значение параметра в 95% случаев в долгосрочной перспективе (... из нашего статистического опыта).

• Fisherian: этот 95% интервал имеет 95% вероятность покрытия истинного значения параметра.

(Байесовские методы и методы правдоподобия также дадут интервалы с желаемыми частотными свойствами. Такие интервалы предполагают немного разные интерпретации, которые, вероятно, будут более естественными, чем неймановские.)

Значение доверительного интервала таково: если бы вы повторили свой эксперимент точно таким же образом (то есть: то же количество наблюдений, взято из одной и той же группы населения и т. Д.), И если ваши предположения верны, вы бы рассчитали этот интервал снова в каждом повторении, тогда этот доверительный интервал будет содержать истинную распространенность в 95% повторений (в среднем).

Таким образом, вы можете сказать, что вы на 95% уверены (если ваши предположения верны и т. Д.), Что вы уже построили интервал, который содержит истинную распространенность.

Как правило, это утверждается следующим образом: с доверием 95% от 4,5 до 8,3% детей матерей, которые курили на протяжении всей беременности, страдают ожирением.

Обратите внимание, что это, как правило, само по себе неинтересно: вы, вероятно, хотите сравнить это с распространенностью среди детей матерей, которые не курили (отношение шансов, относительный риск и т. Д.)

Если истинная средняя разница находится за пределами этого интервала, то существует только 5% вероятность того, что средняя разница от нашего эксперимента будет настолько далека от истинной средней разницы.

Моя интерпретация: если вы проводите эксперимент N раз (где N стремится к бесконечности), то из этого большого числа экспериментов 95% экспериментов будут иметь доверительные интервалы, которые находятся в этих 95% -ых пределах. Если говорить более четко, то допустим, что эти пределы равны «a» и «b», тогда 95 из 100 раз вашей средней разницы выборки будут лежать между «a» и «b». Я предполагаю, что вы понимаете, что в разных экспериментах могут быть использованы разные образцы из всего населения.

«В 95 раз из 100 ваше значение будет в пределах одного стандартного отклонения от среднего»