Я ищу надежную ссылку (или ссылки) на методы числовой оптимизации, предназначенные для статистиков, то есть они применили бы эти методы к некоторым стандартным выводным задачам (например, MAP / MLE в распространенных моделях). Такие вещи, как градиентный спуск (прямой и стохастический), ЭМ и его побочные эффекты / обобщения, моделируемый отжиг и т. Д.
Я надеюсь, что у него будут некоторые практические замечания по реализации (так часто не хватает документов). Это не должно быть полностью ясно, но должно по крайней мере обеспечить надежную библиографию.
Некоторый беглый поиск обнаружил пару текстов: «Численный анализ для статистиков» Кена Ланге и «Численные методы статистики» Джона Монахана. Отзывы о каждом кажутся смешанными (и редкими). Из двух таблиц оглавления можно предположить, что второе издание книги Ланге ближе всего к тому, что мне нужно.
Ответы:
Вычислительная статистика Джеймса Джентла (2009).
Матричная алгебра Джеймса Джентла: теория, вычисления и приложения в статистике (2007) , особенно в конце книги, начало тоже великолепно, но это не совсем то, что вы ищете.
Распознавание образов Кристофера М. Бишопа (2006).
Hastie et al. Элементы статистического обучения: интеллектуальный анализ данных, логический вывод и прогноз (2009).
Вы ищете что-то столь же низкоуровневое, как текст, который ответит на такой вопрос, как: «Почему более эффективно хранить матрицы и массивы более высокой размерности в виде одномерного массива, и как я могу их проиндексировать в обычном М»? (0, 1, 3, ...) путь? или что-то вроде «Какие распространенные методы используются для оптимизации стандартных алгоритмов, таких как градиентный спуск, ЭМ и т. д.?»?
В большинстве текстов по машинному обучению подробно обсуждаются темы, которые вы ищете.
источник
Носедал и Райтс книга
http://users.eecs.northwestern.edu/~nocedal/book/
является хорошим справочником для оптимизации в целом, и многие вещи в их книге представляют интерес для статистики. Есть также целая глава о нелинейных наименьших квадратах.
источник
Оптимизация , Кеннет Ланге (Springer, 2004), рассмотрена в JASA Расселом Стилом. Это хороший учебник с матричной алгеброй Gentle для вводного курса по матричному исчислению и оптимизации, подобный тому, который написал Ян де Леув (курсы / 202B).
источник
В дополнение к этому вы можете найти Magnus, JR и H. Neudecker (2007). Матричное исчисление с приложениями в статистике и эконометрике, 3-е издание полезно, хотя и тяжелый. Он разрабатывает полную обработку бесконечно малых операций с матрицами, а затем применяет их к ряду типичных статистических задач, таких как оптимизация, MLE и нелинейные наименьшие квадраты. Если в конце дня вы в конце концов поймете обратную стабильность своих матричных алгоритмов, вам понадобится хорошее понимание матричного исчисления. Я лично использовал инструменты матричного исчисления при выводе асимптотических результатов в пространственной статистике и многомерных параметрических моделях.
источник