Почему так часто получают оценки максимального правдоподобия параметров, но вы практически никогда не слышали об ожидаемых оценках параметров правдоподобия (т. Е. На основе ожидаемого значения, а не режима функции правдоподобия)? Это в первую очередь по историческим причинам или по более предметным техническим или теоретическим причинам?
Будут ли существенные преимущества и / или недостатки использования ожидаемых оценок вероятности, а не оценок максимального правдоподобия?
Есть некоторые области , в которых ожидаемые оценки вероятности будут обычно используются?
Ответы:
Предложенный метод (после нормализации вероятности для плотности) эквивалентен оценке параметров с использованием плоского априора для всех параметров в модели и использования среднего значения апостериорного распределения в качестве оценщика. Есть случаи, когда использование плоского априора может привести к неприятностям, потому что вы не получите правильного апостериорного распределения, поэтому я не знаю, как бы вы исправили эту ситуацию здесь.
Однако, оставаясь в частом контексте, метод не имеет особого смысла, так как вероятность не составляет плотности вероятности в большинстве контекстов, и ничего случайного не остается, поэтому ожидание не имеет особого смысла. Теперь мы можем просто формализовать это как операцию, которую мы применяем к вероятности после получения факта для получения оценки, но я не уверен, как будут выглядеть частые свойства этой оценки (в тех случаях, когда оценка действительно существует).
Преимущества:
Недостатки:
источник
Одна из причин заключается в том, что оценка максимального правдоподобия проще: вы устанавливаете производную вероятности по параметрам на ноль и решаете для параметров. Принятие ожидания означает интегрирование вероятности умножения на каждый параметр.
В некоторых случаях параметр максимального правдоподобия совпадает с параметром ожидаемого правдоподобия. Например, ожидаемое среднее значение вероятности для нормального распределения, приведенного выше, совпадает с максимальным вероятностью, поскольку априорное значение среднего является нормальным, а мода и среднее нормального распределения совпадают. Конечно, это не будет верно для другого параметра (однако вы его параметризуете).
Я думаю, что самая важная причина, вероятно, почему вы хотите ожидания параметров? Обычно вы изучаете модель, а значения параметров - это все, что вам нужно. Если вы собираетесь вернуть единственное значение, разве максимальная вероятность не лучшая, которую вы можете вернуть?
источник
Этот подход существует и называется Оценщик минимального контраста. Пример связанной бумаги (и другие ссылки смотрите изнутри) https://arxiv.org/abs/0901.0655
источник