VC измерение регрессионных моделей

В серии лекций « Изучение данных» профессор упоминает, что измерение VC измеряет сложность модели по тому, на сколько точек данная модель может разбиться. Так что это прекрасно работает для моделей классификации, где мы можем сказать из N точек, если классификатор способен эффективно разбить k точек, мерой измерения VC будет K. Но мне не было ясно, как можно измерить измерение VC для регрессионных моделей ?

regression machine-learning vc-dimension karthikbharadwaj
источник

См. Cs.stackexchange.com/questions/11548/… ncbi.nlm.nih.gov/pubmed/18252610

kjetil b halvorsen

Ответы:

Из элементов статистического обучения , с. 238:

До сих пор мы обсуждали измерение VC только индикаторных функций, но это может быть расширено до вещественных функций. Измерение VC класса вещественных функций определяется как измерение VC класса индикатора , где принимает значения в диапазоне g. ${g(x, \alpha)}$ ${\mathbb{1}(g(x, \alpha) − \beta > 0)}$ $\beta$

Или (немного) более интуитивно, чтобы найти измерение VC класса вещественных функций, можно найти измерение VC класса функций-индикаторов, которые могут быть сформированы путем установки порогового значения этого класса вещественных функций.

Шон Пасха
источник

Но это дает измерение VC для пороговых индикаторов, и на самом деле я не вижу, как получение границ PAC для пороговых индикаторов многое говорит вам о производительности вашей функции регрессии. Возможно, вы можете придумать аргумент, в котором вы выполняете двоичный поиск по регрессионному значению (для ограниченных выходных доменов).

VF1

@ VF1 Верно. Как интерпретировать VC-измерение регрессионной функции, можно задать хороший, отдельный вопрос.

Шон Пасха

Я бы опубликовал отдельный вопрос, но я считаю, что ответ просто «не используйте VC dim для регрессии», поскольку Rademacher позволит вам сделать столько же для произвольных ограниченных потерь.

VF1

@ VF1 Я бы прочитал ответ, который сказал так с интересом! Все, что я имею в виду, - это предположить, что норма CV должна ограничивать вопросы одним вопросом на пост, и что OP не затрагивал толкование или цель.

Шон Пасха

См. Раздел 5.2 Статистического обучения (Vapnik) для получения трюка индикатора пороговых значений с использованием мер Лебега-Стилтьеса. AFAIK это единственная и окончательная ссылка. Вы уже должны знать, где найти книгу (и другие от Vapnik, они все превосходны).

memeplex
источник

Было бы полезно, если бы вы могли обобщить аргумент, а не просто предоставить ссылку.

Mdewey