Статистика по машинному обучению, документы для начала?

10

У меня есть опыт работы в области компьютерного программирования и теории элементарных чисел, но я не изучал реальную статистику, и недавно «обнаружил», что удивительный мир целого ряда методов на самом деле является статистическим миром. Кажется, что матричные факторизации, матричное пополнение, многомерные тензоры, вложения, оценка плотности, байесовский вывод, марковские разбиения, вычисления по собственным векторам, PageRank - все это высоко статистические методы, и что алгоритмы машинного обучения, использующие такие вещи, используют много статистики ,

Моя цель - иметь возможность читать статьи, в которых обсуждаются такие вещи, а также реализовывать или создавать алгоритмы, понимая при этом обозначения, «доказательства» и используемые статистические аргументы. Полагаю, самое сложное - это следовать всем доказательствам, связанным с матрицами.

Какие основные документы могут помочь мне начать? Или хороший учебник с упражнениями, которые стоит пройти?

В частности, некоторые статьи, которые я хотел бы полностью понять:

  1. Завершение точной матрицы с помощью выпуклой оптимизации, Candes, Recht, 2008
  2. Быстрое преобразование Коши и быстрая робастная линейная регрессия, Clarkson et al, 2013
  3. Случайные проекции для машин опорных векторов, Пол и др., 2013
  4. Высокомерная оценка вероятности с использованием моделей с большой плотностью, Rippel, Adams, 2013
  5. Получение оценок, минимизирующих ошибки, и универсальных оценок ошибок при вводе для заполнения матрицы низкого ранга, Király, Theran, 2013
machine-learning estimation Крис Стрингфеллоу
источник
1
Вы уже знакомы с матрицами, например, через курс прикладной линейной алгебры, или это часть того, что вы хотите изучить? Я бы сказал, что первая половина списка, который вы дали, - это темы, которые важны в статистике, а не очень статистический метод (который мне кажется движением в противоположном направлении). Здесь есть несколько вопросов о рекомендуемых книгах для изучения статистического машинного обучения. Я бы предложил вам привести пример или две конкретные статьи, с которыми вы столкнулись, которые вы хотели бы понять; это поможет лучше сфокусировать ответы, которые вы получите.
кардинал
2
Да, знаком с матрицами, через линейную алгебру, и с понятиями векторного пространства, базиса, норм, но я не совсем понимаю такие вещи, как факторизация LU, хотя я довольно ясно понимаю ортогонализацию Грамма-Шмидта и неоптимизированный алгоритм QR, хотя не совсем понятно, почему они работают. Также я не понимаю, как люди могут вывести собственные векторы для случайной матрицы, не выполняя алгоритм собственных векторов.
Крис Стрингфеллоу

Ответы:

2

Я бы порекомендовал курс машинного обучения Эндрю Нгса на Coursera, он блестяще освещает все основы. Если вы изучаете что-либо, связанное с вероятностными графическими моделями, было бы неплохо взглянуть на курс Дафни Коллерс.

Это также сокровищница для ресурсов для самостоятельного изучения http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ Лекции Херба Гроссмана потрясающие.

Мне также порекомендовали эту книгу https://www.openintro.org/stat/textbook.php, так как я все еще учусь сам, и статистика не является моей историей!

Мои два цента - математическая сторона вещей и бумаг, хотя я не слишком увлечен второстепенной математикой. Изучите основы и ознакомьтесь с документами, на которых построены упомянутые вами документы, и увидите, что они легче (возможно, вам придется вернуться к нескольким статьям, чтобы получить что-то, что вы можете понять - это то, что я делаю сам), есть много различные элементы математики в ML, и легко засосать кроличью нору (опять-таки, я сам это делал не раз!).

Желаем удачи, это действительно интересное поле!

Джим
источник