Я пытаюсь понять некоторые работы Марка ван дер Лаана. Он - теоретический статистик в Беркли, работающий над проблемами, которые существенно пересекаются с машинным обучением. Одна проблема для меня (помимо глубокой математики) состоит в том, что он часто заканчивает тем, что описывает знакомые подходы машинного обучения, используя совершенно другую терминологию. Одна из его основных концепций - «Целевое ожидание максимального правдоподобия».
TMLE используется для анализа цензурированных данных наблюдений из неконтролируемого эксперимента таким образом, который позволяет оценить эффект даже при наличии смешивающих факторов. Я сильно подозреваю, что многие из тех же самых понятий существуют под другими именами в других областях, но я еще не понимаю это достаточно хорошо, чтобы сопоставить его напрямую с чем-либо.
Попытка преодолеть разрыв с «Анализ вычислительных данных» здесь:
И введение для статистиков здесь:
Целевой причинный вывод на основе максимального правдоподобия: Часть I
Со второго:
В этой статье мы разрабатываем конкретную целевую оценку максимального правдоподобия причинных воздействий нескольких интервалов времени. Это включает в себя использование суперобучения на основе потерь для получения начальной оценки неизвестных факторов формулы G-вычисления, а затем, применение конкретной оптимальной функции флуктуации целевого параметра (наименее благоприятная параметрическая подмодель) к каждому оцененному коэффициенту, оценивают параметр (ы) флуктуации с оценкой максимального правдоподобия и повторяют этот этап обновления исходного фактора до сходимости. Этот шаг обновления целевого итеративного целевого максимального правдоподобия делает результирующий оценщик причинного эффекта вдвойне надежным в том смысле, что он непротиворечив, если любой начальный оценщик непротиворечив, или оценка оптимальной функции флуктуации является последовательной. Оптимальная функция флуктуации указывается правильно, если правильно определены условные распределения узлов в причинном графе, в который он вмешивается.
В его терминологии «суперобучение» - это ансамблевое обучение с теоретически обоснованной неотрицательной весовой схемой. Но что он имеет в виду, «применяя определенную оптимальную функцию флуктуации целевого параметра (наименее благоприятная параметрическая подмодель) к каждому оцениваемому фактору».
Или, разбив его на три отдельных вопроса, имеет ли TMLE параллель в машинном обучении, что такое «наименее благоприятная параметрическая подмодель» и что такое «функция флуктуации» в других областях?
Ответы:
Я согласен, что ван дер Лаан имеет тенденцию придумывать новые имена для уже существующих идей (например, супер-ученик), но, насколько я знаю, TMLE не является одним из них. На самом деле это очень умная идея, и я не видел ничего из сообщества машинного обучения, которое выглядело бы похожим (хотя я мог бы просто не знать). Идеи исходят из теории полупараметрически эффективных уравнений оценивания, о которой, как мне кажется, статистики думают гораздо больше, чем о людях ОД.
Идея по сути заключается в следующем. Предположим, что является истинным механизмом генерирования данных, и интерес представляет конкретный функционал Ψ ( P 0 ) . С таким функционалом часто связано оценочное уравнениеP0 Ψ(P0)
и так до тех пор, пока мы не получим в пределе что-либо, удовлетворяющее уравнению эффективной оценки.
источник