Ресурс / книга о последних достижениях в статистической теории обучения

10

Я довольно хорошо знаком с теорией, лежащей в основе VC-Dimension, но сейчас я смотрю на последние (последние 10 лет) достижения в теории статистического обучения: (локально) средние Радемахера, лемма о конечных классах Массарта, Покрывающие числа, Цепочки, Дадли Теорема, псевдоразмерность, размерность, разбивающая жир, номера упаковок, состав Радемахера и, возможно, другие результаты / инструменты, о которых я не знаю.

Есть ли веб-сайт, опрос, сборник статей или, что лучше всего, книга на эти темы?

В качестве альтернативы я рассматриваю примеры того, как ограничить среднее значение по Радемахеру для простых классов, так же, как люди используют выровненные по оси прямоугольники, чтобы показать, как связать VC-измерение.

Заранее спасибо.

Matteo
источник

Ответы:

7

Я полагаю, вам понравится теория классификации: обзор последних достиженийБучероном, Буске и Лугоши. В частности, он начинается с построения базовой теории обобщения с помощью сложностей Радемахера, вводит некоторые полезные инструменты (например, принцип сжатия, доказательство которого вы можете отследить в заметках Шая и Шая, на которые ссылается Ашвинкумар, но (я полагаю?) Происходит из книга вероятностей от Ledoux & Talagrand, которая не является бесплатной), и применяет их к стандартным методам классификации (обсуждаются вспомогательные и опорные векторные машины, как из-за их популярности, так и потому, что они обучаются через ERM) Этот текст датируется 2005 годом, поэтому в нем также есть некоторые другие недавние темы, которые вы упомянули, например, Local Rademacher Complexities, и есть даже крошечный плагин для цепочки. Наконец, хотя рукопись довольно короткая,

Некоторые из других упомянутых вами тем достаточно стары, чтобы быть в «Вероятностной теории распознавания образов» Деврой, Дьёрфи и Лугоши (в частности, она содержит больше информации по упаковке, чем любой другой текст, который я знаю). Хотя в нем отсутствуют некоторые новые темы, которые вы упоминаете, это стандартная книга, которую все, кого я встречал в теории обучения, держали на полках. Возможно попытайтесь найти оглавление и индекс для книги, и пролистать это.

Некоторые другие темы, о которых вы упомянули, я не видел, чтобы они подробно рассматривались в книге, но они появились в ряде заметок курса. Например, если вы зайдете на страницу Шам Какаде в UPenn , вы найдете ссылки на два курса по теории обучения (один был в TTI-C, с Ambuj Tewari), и вы увидите, что ссылки на темы соответствуют тем, которые вы обсуждали. и не появилось ни в моих ответах, ни где-либо еще. Есть много хороших курсов в разных школах; Аврим Блум имеет отличные, чрезвычайно удобочитаемые заметки для своего курса по теории обучения (его анализ виндона является самым коротким, чистым и наиболее интуитивным из всех, что я когда-либо видел!).

Некоторые из них, возможно, слишком новы, и вам придется перейти к исходному материалу. Но если вы на самом деле просто пытаетесь подобрать набор методик, я думаю, что опрос на высшем уровне и лекции для пары классов по теории обучения послужат вам в долгой перспективе.

Кроме того, вы говорите так, будто ищете сложные тексты, но я также хотел бы добавить два вводных текста, которые очень нравятся людям. Одним из них является «введение в вычислительную теорию обучения» Кернса и (У.) Вазирани, которое в старости (например, повышение представлено только через оригинальную конструкцию Роберта Шапира, и акцент делается на PAC, а не на агностическом обучении), хорошо представлен и обладает хорошей интуицией. Лично я получил основы « Введение в теорию статистического обучения» от тех же авторов, что и в предыдущем обзоре (но появился в порядке «Буске, Бушерон, Лугоши»); это было хорошее изложение и было впервые, когда теория обобщения действительно начала интересоваться мной.

Матус
источник
5

Это был недавно преподаваемый курс. http://www.cs.huji.ac.il/~shais/Handouts.pdf . Я не внимательно прочитал его, но в главе 7 есть материал о сложностях Радемахера. Надеюсь, поможет.

Ашвинкумар Б.В.
источник
Спасибо @Ashwinkumar. Мне нравится тот факт, что некоторые из этих заметок взяты из книги, которая в настоящее время пишется.
Маттео