Какое свойство оценки у оракула?

Какое свойство оценки у оракула ?
Для каких целей моделирования имеет значение свойство оракула (предиктивный, объяснительный, ...)?

И теоретически строгие, и (особенно) интуитивные объяснения приветствуются.

feature-selection model-selection estimators oracle Ричард Харди
источник

Было бы неплохо получить исчерпывающий универсальный ответ на вопрос. Некоторые связанные материалы: Zou "Адаптивный LASSO и его свойства оракула" , с. 1 (стр. 1418).

Ричард Харди

Ответы:

Оракул знает правду: он знает истинное подмножество и готов действовать в соответствии с ним. Свойство оракула заключается в том, что асимптотическое распределение оценки такое же, как асимптотическое распределение MLE только на истинном носителе. Таким образом, оценщик адаптируется к знанию истинной поддержки, не платя цену (с точки зрения асимптотического распределения).

Благодаря асимптотическим свойствам оптимальности MLE, обсуждаемым, например, в теоретической статистике Кинера в теореме 9.14, мы знаем, что при некоторых технических условиях, которые имеют место, когда, например, ошибка является гауссовой, что

\sqrt{N} ({\hat{β}}_{S} - β_{S}^{*}) \to N (0, я^{- 1} (β_{S}^{*})),

$\sqrt{n} \left( \hat\beta_S - \beta^*_S \right) \to \mathcal{N} (0, I^{-1}(\beta^*_S)),$

β_{S}^{*}

$\beta^*_S$

S

$S$

{\hat{β}}_{S}

$\hat\beta_S$

Тем не менее, мы платим большую неасимптотическую цену: см., Например,

Ханнес Лееб, Бенедикт М. Петшер, Разреженные оценки и свойство оракула, или возвращение оценки Ходжеса, Журнал эконометрики, том 142, выпуск 1, 2008, страницы 201-211,

который показывает, что риск любого «оценщика оракула» (в смысле Fan и Li, 2001) имеет супремум, который расходится до бесконечности.

user795305
источник

- так что свойство оракула для лассо гласит следующее: свойство оракула заключается в том, что асимптотическое распределение оценки аналогично асимптотическому распределению логистической регрессии LASSO только на истинной опоре

Annalize Azzopardi

Определение свойства Oracle тесно связано с контекстом. Очень короткий, но точный ответ в линейной регрессии (точнее, многомерный) таков:

оценка оракула должна быть последовательной в оценке параметров и выборе переменных.

Обратите внимание, что оценщик, который является последовательным в выборе переменных, не обязательно является последовательным в оценке параметров. Смотрите адаптивную лассо для математических определений или просто посмотрите на слайды .

TPArrow
источник

В статье adaLASSO (ссылка на которую содержится в моем комментарии) говорится, что скорость конвергенции также должна быть оптимальной (помимо согласованной оценки). Это важная и немного сложная концепция. Не могли бы вы уточнить это?

Ричард Харди

\sqrt{n}

$\sqrt{n}$

n

$n$

Итак, вы бы предложили убрать требование об оптимальной скорости в определении свойства оракула?

Ричард Харди

В общих определениях я не вижу обязанности упоминать скорость. Но в теории нам нужно знать / определять оптимальную скорость, очевидно.

TPArrow

Спасибо. Я выбираю это, потому что мы говорим об определении здесь, поэтому я пытаюсь быть точным.

Ричард Харди