Что сказать клиенту, который считает, что доверительные интервалы слишком широки, чтобы быть полезными?

Предположим, я консультант и хочу объяснить своему клиенту полезность доверительного интервала. Клиент говорит мне, что мои интервалы слишком широки, чтобы быть полезными, и он предпочел бы использовать их вдвое меньше.

Как мне ответить?

Это зависит от того, что клиент подразумевает под «полезным». Предположение вашего клиента о том, что вы произвольно сужаете интервалы, похоже, отражает неправильное понимание того, что, сужая интервалы, вы каким-то образом волшебным образом уменьшали предел погрешности. Предполагая, что набор данных уже собран и исправлен (если это не так, шутка @ shabbychef в комментариях дает вам ваш ответ), любой ответ вашему клиенту должен подчеркивать и описывать, почему нет «бесплатного обеда» и что вы находитесь жертвуя что - то сужая интервалы.

В частности, поскольку набор данных является фиксированным, единственный способ уменьшить ширину доверительного интервала - это уменьшить уровень достоверности. Таким образом, у вас есть выбор между более широким интервалом, который, как вы уверены, содержит истинное значение параметра, или более узким интервалом, в котором вы менее уверены. То есть более широкие доверительные интервалы более консервативны. Конечно, вы никогда не можете просто бездумно оптимизировать ни ширину, ни уровень достоверности, поскольку вы можете генерировать доверительный интервал в вакууме , позволяя ему охватить все пространство параметров и получить бесконечно узкий доверительный интервал, хотя охват будет равен 0 % . $100 \%$$0 \%$

Является ли менее консервативный интервал более полезным, очевидно, зависит как от контекста, так и от того, как ширина интервала изменяется в зависимости от уровня достоверности, но у меня возникают проблемы с представлением приложения, в котором для получения гораздо более низкого уровня достоверности более узкие интервалы были бы предпочтительнее. Также стоит отметить, что $95 \%$ доверительный интервал стал настолько повсеместным, что будет трудно объяснить, почему вы, например, используете доверительный интервал. $60\%$

Я бы предположил, что это полностью зависит от того, для чего ваш клиент хочет использовать доверительные интервалы.

1. Какой-то отчет / публикация / и т.д. где обычно сообщается о 95% ДИ. Я мог бы очень хорошо сказать ему «Это не является статистически оправданным» и оставить его там, в зависимости от того, склонен ли клиент полагаться на ваш опыт. Если они этого не делают, вы должны принять решение о своем собственном профессиональном комфорте с тем, что они хотят.
2. Какой-то внутренний документ - я бы дал понять, что вы не согласны, и поясню, на какой доверительный интервал смотрит читатель, поскольку он не 95%.
3. В качестве меры неопределенности оценки, скажем, чтобы определить, какой анализ чувствительности может понадобиться? Я дал бы им цифру, показывающую полное распределение с 95% -й КИ и чем-то вроде 68% -ной КИ, и позволил им иметь это.

Я был бы очень горд собой, если бы мне удалось удержать «Так что беги больше учиться», чтобы быть первым из моих уст.

Используйте стандартное отклонение, как и большинство людей. 95% ДИ может быть страшным, когда люди привыкли к 68% ДИ.

Вы предоставляете доверительный интервал на определенном стандартном уровне, таком как 90% или 95%. Клиент может судить, является ли интервал слишком широким, чтобы быть полезным. Но, конечно, это не значит, что вы можете сократить его, чтобы сделать его полезным. Можно предположить, что увеличение размера выборки приведет к уменьшению ширины интервала с заданным уровнем достоверности, поскольку оно уменьшается примерно в квадратный корень от размера выборки.