Сравнение двух результатов точности классификатора для статистической значимости с t-тестом

Я хочу сравнить точность двух классификаторов по статистической значимости. Оба классификатора работают на одном наборе данных. Это наводит меня на мысль, что я должен использовать один образец t-критерия из того, что я читал .

Например:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

Это правильный тест для использования? Если да, то как рассчитать, является ли разница в точности между классификаторами?

Или я должен использовать другой тест?

Я бы, наверное, выбрал тест МакНемара, если бы вы тренировали классификаторы только один раз. Дэвид Барбер также предлагает довольно аккуратный байесовский тест, который кажется мне довольно элегантным, но не широко используется (он также упоминается в его книге ).

Просто добавьте, как говорит Питер Флом, ответ почти наверняка «да», просто взглянув на разницу в производительности и размере выборки (я беру в расчет цифры, приведенные для оценки производительности тестового набора, а не тренировочного набора).

Кстати, у Жапковича и Шаха недавно вышла книга «Оценка алгоритмов обучения: перспектива классификации» , я ее не читал, но она выглядит как полезный справочник для подобных проблем.

Я могу сказать вам, даже не предпринимая никаких действий, что разница будет очень статистически значимой. Он проходит IOTT (тест на межглазную травму - он ударяет вас между глазами).

Если вы хотите провести тест, вы можете сделать это как тест двух пропорций - это можно сделать с помощью t-теста с двумя образцами.

Возможно, вы захотите разбить «точность» на составляющие; чувствительность и специфичность или ложноположительные и ложноотрицательные. Во многих приложениях стоимость разных ошибок совершенно разная.

Поскольку в данном случае точность - это доля правильно классифицированных выборок, мы можем применить проверку гипотезы о системе двух пропорций.

Пусть р 1 и р 2 быть точность , полученные из классификаторов 1 и 2 соответственно, а п будет число выборок. Количество выборок, правильно классифицированных в классификаторах 1 и 2, равно x 1 и x 2 соответственно.$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

Статистика теста определяется

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ где $\quad\hat p= (x_1+x_2)/2n$

Мы намерены доказать, что общая точность классификатора 2, т. Е. , лучше точности классификатора 1, то есть p 1 . Это создает нашу гипотезу как$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (нулевая гипотеза о том, что оба равны)
• $H_a: p_1 < p_2\quad$ (альтернативная гипотеза, утверждающая, что более новая гипотеза лучше существующей)

Область отклонения определяется как

$Z < -z_\alpha \quad$(если истина отклонить и принять H a )$H_0$$H_a$

где получается из стандартного нормального распределения, которое относится к уровню значимости, α . Например, z 0,5 = 1,645 для уровня значимости 5%. Это означает, что если соотношение Z < - 1,645 истинно, то мы можем сказать с 95% уровнем достоверности ( 1 - α ), что классификатор 2 является более точным, чем классификатор 1.$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Ссылки:

1. Р. Джонсон и Дж. Фрейнд, Вероятность и статистика Миллера и Фрейнда для инженеров, 8-е изд. Prentice Hall International, 2011. (первоисточник)
2. Проверка гипотезы-краткой формулы Резюме . (Принято из [1])