Вычислить доверительный интервал из выборочных данных

У меня есть образцы данных, для которых я хотел бы вычислить доверительный интервал, предполагая нормальное распределение.

Я нашел и установил пакеты numpy и scipy и получил numpy для возврата среднего и стандартного отклонения (numpy.mean (data) с данными в виде списка). Мы будем очень благодарны за любые советы по получению выборочного доверительного интервала.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

вы можете рассчитать таким образом.

Вот сокращенная версия кода шасана, вычисляющая 95% доверительный интервал среднего значения массива a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Но использование StatsModels, tconfint_meanвозможно, даже лучше:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

В основе обоих лежит предположение, что выборка (массив a) была построена независимо от нормального распределения с неизвестным стандартным отклонением (см. MathWorld или Википедию ).

Для большого размера выборки n среднее значение выборки имеет нормальное распределение, и его доверительный интервал можно рассчитать, используя st.norm.interval()(как предлагается в комментарии Хайме). Но приведенные выше решения верны также для малых n, что st.norm.interval()дает слишком узкие доверительные интервалы (т. Е. «Ложная уверенность»). См. Мой ответ на аналогичный вопрос для получения более подробной информации (и один из комментариев Русса здесь).

Вот пример, в котором правильные параметры дают (по существу) одинаковые доверительные интервалы:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

И, наконец, неверный результат с использованием st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Начните с поиска z-значения для желаемого доверительного интервала в справочной таблице . Тогда доверительный интервал равен mean +/- z*sigma, где sigma- оценочное стандартное отклонение среднего значения выборки, выраженное формулой sigma = s / sqrt(n), где s- стандартное отклонение, вычисленное на основе данных выборки, и n- размер вашей выборки.

Начиная Python 3.8, стандартная библиотека предоставляет NormalDistобъект как часть statisticsмодуля:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

Это:

• Создает NormalDistобъект из выборки данных ( NormalDist.from_samples(data), который дает нам доступ к среднему и стандартному отклонению выборки с помощью NormalDist.meanи NormalDist.stdev.

• Вычислить на Z-scoreоснове стандартного нормального распределения (представленного NormalDist()) для заданной достоверности, используя обратную функцию кумулятивного распределения ( inv_cdf).

• Выдает доверительный интервал на основе стандартного отклонения и среднего значения выборки.

Это предполагает, что размер выборки достаточно велик (скажем, более ~ 100 точек), чтобы использовать стандартное нормальное распределение, а не распределение Стьюдента для вычисления zзначения.