Что такое правило .632+ в начальной загрузке?

107

Здесь @gung ссылается на правило .632+. Быстрый поиск в Google не дает простого для понимания ответа о том, что означает это правило и для какой цели оно используется. Кто-нибудь, пожалуйста, проясните правило .632+?

russellpierce
источник

Ответы:

115

Я доберусь до оценки 0,632, но это будет несколько долгое развитие:

Предположим, что мы хотим предсказать с помощью используя функцию , где может зависеть от некоторых параметров, которые оцениваются с использованием данных , например,YXff(Y,X)f(X)=Xβ

Наивной оценкой ошибки предсказания является где - некоторая функция потерь, например возведение в квадрат ошибок. Это часто называют ошибкой обучения. Efron et al. называет это очевидной частотой ошибок или частотой повторного замещения. Это не очень хорошо, так как мы используем наши данные чтобы соответствовать . Это приводит к вниз. Вы хотите знать, насколько хорошо ваша модель справляется с предсказанием новых значений.

err¯=1Ni=1NL(yi,f(xi))
L(xi,yi)ferr¯f

Часто мы используем перекрестную проверку как простой способ оценки ожидаемой ошибки прогнозирования для дополнительной выборки (насколько хорошо наша модель работает с данными, не входящими в наш обучающий набор?).

Err=E[L(Y,f(X))]

Популярный способ сделать это - сделать перекрестную проверку в кратном размере. Разделите ваши данные на групп (например, 10). Для каждой группы поместите вашу модель в оставшиеся группы и протестируйте ее в й группе. Наша перекрестно проверенная ошибка прогноза для дополнительной выборки - это просто среднее значение где - это некоторая индексная функция, которая указывает раздел, которому назначено наблюдение а - это прогнозируемое значение использующее данные, не в -й набор.KKkK1k

ErrCV=1Ni=1NL(yi,fκ(i)(xi))
κifκ(i)(xi)xiκ(i)

Эта оценка приблизительно несмещенная для истинной ошибки предсказания , когда и имеет большую дисперсию , и является более дорогим в вычислительном отношении для увеличения . Итак, еще раз мы видим компромисс между отклонением и дисперсией в игре.K=NK

Вместо перекрестной проверки мы могли бы использовать начальную загрузку для оценки ошибки прогнозирования для дополнительной выборки. Bootstrap resampling может использоваться для оценки распределения выборки любой статистики. Если наши обучающие данные , то мы можем подумать о том, чтобы взять загрузочных примеров (с заменой) из этого набора где каждый - это набор из выборок. Теперь мы можем использовать наши образцы начальной загрузки для оценки ошибки прогнозирования дополнительной выборки: где - это прогнозируемое значение в из модели, подходящей дляX=(x1,,xN)BZ1,,ZBZiN

Errboot=1Bb=1B1Ni=1NL(yi,fb(xi))
fb(xi)xib й набор данных начальной загрузки. К сожалению, это не особенно хорошая оценка, потому что образцы начальной загрузки, используемые для получения могли содержать . оставляющий один, предлагает улучшение, имитируя перекрестную проверку, и определяется как: где - набор индексов для примеров начальной загрузки, которые не содержат наблюдения , аколичество таких образцов. fb(xi)xi
Errboot(1)=1Ni=1N1|Ci|bCiL(yi,fb(xi))
Cii|Ci|Errboot(1)решает проблему переоснащения, но все еще смещена (эта смещена вверх). Смещение связано с нечеткими наблюдениями в образцах начальной загрузки, которые являются результатом выборки с заменой. Среднее число отдельных наблюдений в каждой выборке составляет около (см. Этот ответ для объяснения того, почему в среднем каждая загрузочная выборка содержит примерно две трети наблюдений? ). Чтобы решить проблему смещения, Эфрон и Тибширани предложили оценку 0.632: где0.632N
Err.632=0.368err¯+0.632Errboot(1)
err¯=1Ni=1NL(yi,f(xi))
Наивная оценка ошибки прогнозирования, часто называемая ошибкой обучения. Идея состоит в том, чтобы усреднить смещенную вниз оценку и смещенную вверх оценку.

Однако, если у нас есть функция прогнозирования с чрезмерным превышением (то есть ), то даже оценка 0,632 будет смещена вниз. Оценщик .632+ разработан для того, чтобы быть менее предвзятым компромиссом между и . с где - частота ошибок при отсутствии информации, оцененная путем оценки модели прогнозирования для всех возможных комбинаций целевые значения и предикторы .err¯=0err¯Errboot(1)

Err.632+=(1w)err¯+wErrboot(1)
w=0.63210.368RandR=Errboot(1)err¯γerr¯
γyixi

γ=1N2i=1Nj=1NL(yi,f(xj))
.

Здесь измеряет относительную скорость переоснащения. Если нет переобучения (R = 0, когда ) это равно оценке .632.RErrboot(1)=err¯

bdeonovic
источник
2
Это хорошие вопросы, @rpierce, но они несколько отошли от центральной темы этой темы. Было бы лучше с точки зрения организации CV разместить их в новой ветке, чтобы людям было легче находить и использовать эту информацию впоследствии.
gung - Восстановить Монику
1
Вопрос 1: stats.stackexchange.com/questions/96764/…
russellpierce
1
@rpierce Мне жаль, если я немного усложнил свой вопрос. сравнивает соответствие вашей модели данным, используемым для ее соответствия. Так что для квадрата потери ошибок это будет простоerr¯=1Ni=1NL(yi,f(xi))1ni=1n(yiy^i)2
bdeonovic
1
@rpierce, да! Я был немного общим, потому что я переписывал много этого материала из некоторых заметок.
bdeonovic
53

Вы найдете больше информации в разделе 3 этого 1 документа. Но если подвести итог, если вы называете выборкой из чисел из отобранных случайным образом и с заменой, содержит в среднем приблизительно уникальных элементов.Sn{1:n}S(1e1)n0.63212056n

Аргументация заключается в следующем. Мы заполняем путем выборки раз (случайным образом и с заменой) из . Рассмотрим конкретный индекс . S={s1,,sn}i=1,,n{1:n}m{1:n}

Затем:

P(si=m)=1/n

а также

P(sim)=11/n

и это верно (интуитивно, поскольку мы производим выборку с заменой, вероятности не зависят от )1ini

таким образом

P(mS)=1P(mS)=1P(i=1nsim)=1i=1nP(sim)=1(11/n)n1e1

Вы также можете выполнить это небольшое моделирование, чтобы эмпирически проверить качество аппроксимации (которая зависит от ):n

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Брэдли Эфрон и Роберт Тибширани (1997). Улучшения в перекрестной проверке: метод начальной загрузки .632+ . Журнал Американской Статистической Ассоциации , Vol. 92, № 438, с. 548-560.

user603
источник
3
вот док для вас в ссылке - stat.washington.edu/courses/stat527/s14/readings/...
1
(+1) Очень хорошо. Я бы только сделал обозначение немного более стандартным. Данные: . IID случайных величин с . Результат: . (x1,,xn)S1,,SnP(Si=k)=1nI{1,,n}(k)P(i=1n{Si=k})=1P(i=1n{Sik})=1i=1nP{Sik}=1(11/n)n11/e63.21%
Дзен
4
@rpierce: Верно. «Очевидный» бит, который в настоящее время не упоминается в ответе, состоит в том, что . 1e10.63212056
Ильмари Каронен
1
Этот ответ также хорош, на самом деле, принятый ответ плюс этот ответ фактически дают полный ответ на мой вопрос - но между двумя я чувствую, что ответ Бенджамина ближе к тому, что я искал в ответе. Это сказанное - я действительно желаю, чтобы было возможно принять оба.
Расселпирс
1
@rpierce: Процитирую Селин Дион: « Сказка стара как время / песня стара как рифма / Красота и чудовище». : P
Ник Стаунер
8

По моему опыту, в первую очередь основанном на моделировании, варианты начальной загрузки 0.632 и 0.632+ были необходимы только из-за серьезных проблем, вызванных использованием неправильного правила оценки точности, а именно пропорции, «классифицированной» правильно. Когда вы используете правильные (например, на основе отклонения или оценки Бриера) или полусобственные (например, -index = AUROC) правила подсчета очков, стандартный загрузчик оптимизма Эфрона-Гонга работает просто отлично.c

Фрэнк Харрелл
источник
3
Я не думаю, что понимаю большинство вещей, которые вы сказали здесь, Фрэнк. Вы хотели бы уточнить? Похоже, у вас есть что-то уникальное и важное, чтобы внести свой вклад.
Расселпирс
Рад расширить, если вы можете сформулировать конкретный вопрос.
Фрэнк Харрелл
1
Эти правила подсчета очков ... судили о качестве результата начальной загрузки? Не могли бы вы предоставить ссылку, которая описывает пропорцию "классифицированного" правила правильной оценки, у меня возникли проблемы с представлением, какой это может быть зверь. Из лучших результатов "Оптимизма Эфрона-Гонга" в Google подавляющее большинство, кажется, написаны вами ... чем это отличается от того, если я скажу "начальная загрузка" без квалификаторов? К какой статье Эффрона и Гонга я должен обратиться? Кажется, их несколько.
Расселпирс
3
См. Оригинальную статью о 0.632, в которой используется и определяется правильно классифицированная пропорция (Efron & Tibshirani JASA 92: 548; 1997). Бутстрап оптимизма - это вариант бутстрапа для оценки предвзятости. Это описано в Гун: JASA 85:20; 1990 г.
Фрэнк Харрелл,
2

Эти ответы очень полезны. Я не смог найти способ продемонстрировать это с помощью математики, поэтому я написал немного кода на Python, который работает довольно хорошо:

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)
Анил Нарассигуин
источник