Тест на пропорции и двоичный классификатор

У меня есть прототип машины, производящей детали.

В первом тесте машина производит деталей, и двоичный классификатор говорит мне, что детали неисправны ( , обычно и ), а детали хороши.d 1 d 1 < N 1 d 1 / N 1 < 0,01 N 1 ≈ 10 4 N 1 - d $N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Затем техник вносит некоторые изменения в машину, чтобы уменьшить количество дефектных деталей.

Во втором и последующем тесте модифицированная машина производит детали, и тот же двоичный классификатор (нетронутый) говорит мне, что детали неисправны, в любом случае очень похож на .d 2 d 2 / N 2 d 1 / N $N_2$$d_2$$d_2/N_2$$d_1/N_1$

Техник хотел бы знать, эффективны ли его изменения.

Предполагая, что классификаторы идеальны (его чувствительность составляет 100%, а его специфичность составляет 100%), я могу выполнить тест на пропорции (с R, я просто набираю prop.test(c(d1,d2),c(N1,N2))).

Но классификатор не идеален, так как я могу принять во внимание чувствительность и специфичность, неизвестную, классификатора, чтобы правильно ответить технику?

Так что я извлекаю это из первых принципов, и поэтому не уверен, что это правильно. Вот мои мысли:

РЕДАКТИРОВАТЬ: Это было не совсем правильно раньше. Я обновил это.

1. Пусть обозначает ожидаемую разницу между фактическим числом истинных положительных значений d 1 и числом, выводимым двоичным классификатором, который мы назовем ^ d 1 . Вы можете измерить это, запустив свой классификатор на наборе с известными метками. Вычтите количество фактических позитивов из числа позитивов, произведенных классификатором, а затем разделите на N, чтобы получить α .$\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. Итак, точечная оценка для фактического соотношения дефектных частей дается: . То есть наблюдаемое количество дефектных деталей, за вычетом ожидаемого количества ложных срабатываний плюс ожидаемое количество ложных срабатываний.$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. Точно так же, $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Итак, теперь давайте сделаем тест на опору. В стандартном тесте пропеллера мы сначала вычисляем объединенное отношение, используемое как нулевое значение: . Итак, здесь мы помещаем в наши точечные оценки ^ d $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ и^d$\hat{\frac{d_1}{N_1}}$ чтобы получить:p=d1+d2+α∗(N1+N2$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. И тогда стандартная ошибка просто обычная: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. И статистика теста такая же: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Несколько мыслей о толковании:

• $p < 0$

• Другой способ думать об этом заключается в том, что, если количество дефектных деталей находится в пределах погрешности для классификатора, то, конечно, мы не можем сказать, есть ли разница: мы даже не можем сказать, являются ли какие-либо детали дефектными!

$\alpha$

• $\alpha$$\alpha$

$h$

• $\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$ (который содержит оба более ранних интервала) должен быть (1-h) * 100% CI для разницы в пропорциях ... Я думаю ...

$\alpha$