Что подразумевается под дисперсией * функций * в * Введение в статистическое обучение *?

На стр. 34 введения в статистическое обучение : $\newcommand{\Var}{{\rm Var}}$

Хотя математическое доказательство выходит за рамки данной книги, можно показать , что ожидаемый тест MSE для заданного значения $x_0$ , всегда можно разложить на сумму три основных величин: дисперсия в $\hat{f}(x_0)$ , квадрат смещения из $\hat{f}(x_0)$ и дисперсия членов ошибки $\varepsilon$ . Это,

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] Отклонение относится к величине, на которую $\hat{f}$ изменится, если мы оценим ее, используя другой набор обучающих данных.

Вопрос: Поскольку $\Var\big(\hat{f}(x_0)\big)$ видимому, обозначает дисперсию функций , что это означает формально?

То есть я знаком с понятием дисперсии случайной величины $X$ , но как насчет дисперсии набора функций? Можно ли это рассматривать как просто дисперсию другой случайной величины, значения которой принимают форму функций?

Ваша переписка с @whuber верна.

Алгоритм обучения можно рассматривать как функцию более высокого уровня, отображающую обучающие наборы в функции.$\mathcal{A}$

где - пространство возможных обучающих наборов. С концептуальной точки зрения это может быть немного сложным, но в основном каждый отдельный обучающий набор приводит, после использования алгоритма модельного обучения, к особой функции которая может использоваться для прогнозирования с учетом точки данных .$\mathcal{T}$$f$$x$

Если мы рассматриваем пространство обучающих наборов как пространство вероятностей, так что имеется некоторое распределение возможных обучающих наборов данных, то алгоритм обучения модели становится случайной величиной с функцией и мы можем думать о статистических понятиях. В частности, если мы фиксируем конкретную точку данных , то получаем случайную переменную с числовым значением$x_0$

Т.е. сначала обучаем алгоритм на , а затем оцениваем полученную модель в . Это просто старая, но оригинально сконструированная случайная величина в пространстве вероятностей, поэтому мы можем говорить о ее дисперсии. Это отклонение в вашей формуле от ISL.$T$$x_0$

Визуальная интерпретация с использованием повторяющихся kfolds

Чтобы дать визуальную / интуитивную интерпретацию ответа @Matthew Drury, рассмотрим следующий игрушечный пример.

• Данные генерируются по шумовой синусоиде: «Истинный noise»$f(x) \ +$
• Данные разбиты на обучающие и тестируемые образцы (75% - 25%).
• Линейная (полиномиальная) модель подгоняется под тренировочные данные:$\hat f(x)$
• Процесс повторяется много раз с использованием одних и тех же данных (т. Е. Обучение с разделением - случайное тестирование с использованием Sklearm, повторенного kfold)
• Это порождает много разных моделей, из которых мы вычисляем среднее значение и дисперсию в каждой точке а также по всем точкам.$x=x_i$

Ниже приведены полученные графики для полиномиальной модели степени 2 и степени 6. На первый взгляд кажется, что верхний полином (в красном) имеет большую дисперсию.

Утверждая, что красный график имеет большую дисперсию - экспериментально

Пусть и соответствуют зеленому и красному графикам соответственно, а - один экземпляр графиков, светло-зеленого и светло-красного цвета. Пусть будет количеством точек вдоль оси а будет количеством графиков (т.е. количеством симуляций). Здесь мы имеем и$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

Я вижу три основных сценария

1. Дисперсия прогнозируемых значений в одной конкретной точке больше, т.е.$x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. Дисперсия в больше для всех точек в диапазоне $(1)$ $\{ x_1,...,x_{400} \}$$(0,1)$
3. Дисперсия в среднем больше (т.е. может быть меньше для некоторых точек)

В случае этого игрушечного примера все три сценария выполняются в диапазоне что оправдывает аргумент, что полиномиальное соответствие более высокого порядка (красным) имеет более высокую дисперсию, чем многочлен более низкого порядка (зеленым).$(0,1)$

Открытое заключение

О чем следует спорить, когда вышеупомянутые три сценария не все имеют место. Например, что если дисперсия красных прогнозов в среднем больше, но не для всех точек.

Детали этикеток

Рассмотрим точку$x_0 = 0.5$

• Панель ошибок - это диапазон между минимальным и максимальным значением$\hat f(x_0)$
• Дисперсия вычисляется в$x_0$
• True - пунктирная синяя линия$f(x)$