Почему KNN не «на основе модели»?

Глава 2.4 ESL, по- видимому, классифицирует линейную регрессию как «основанную на модели», потому что она предполагает , тогда как для k-ближайших соседей подобная аппроксимация не указана. Но разве оба метода не делают предположений о ?f ( x $f(x) \approx x\cdot\beta$$f(x)$

Позже в 2.4 это даже говорит:

• Наименьшие квадраты предполагают, что хорошо аппроксимируется глобально линейной функцией.$f(x)$
• k-ближайшие соседи предполагают, что хорошо аппроксимируется локально постоянной функцией.$f(x)$

Предположение KNN выглядит так, как будто оно также может быть формализовано (хотя и не уверен, что это приведет к алгоритму KNN, если предположить, что линейно, приводит к линейной регрессии).$f$

Итак, если KNN на самом деле не основан на моделях, почему? Или я неправильно читаю ESL?

Довольно сложно сравнивать kNN и линейную регрессию напрямую, поскольку они очень разные вещи, однако, я думаю, что ключевой момент здесь - это разница между «моделированием » и «предположением о f ( x ) ».$f(x)$$f(x)$

При выполнении линейной регрессии, кто-то специально моделирует , часто что-то среди линий f ( x ) = w x + ϵ, где ϵ - гауссовский шумовой член. Вы можете понять, что модель максимального правдоподобия эквивалентна модели минимальной суммы квадратов ошибок.$f(x)$$f(x) = \mathbf{wx} + \epsilon$$\epsilon$

KNN, с другой стороны, как предполагает ваша вторая точка зрения, предполагает, что вы можете аппроксимировать эту функцию с помощью локально постоянной функции - некоторой меры расстояния между точками, без конкретного моделирования всего распределения.$x$

Другими словами, линейная регрессия часто будет иметь хорошее представление о значении для некоторого невидимого x только из значения x , тогда как для kNN потребуется некоторая другая информация (то есть, k соседей), чтобы делать предсказания о f ( x ) , потому что значение x и только само значение не будут давать никакой информации, так как не существует модели для f ( x ) .$f(x)$$x$$x$$f(x)$$x$$f(x)$

РЕДАКТИРОВАТЬ: повторить это ниже, чтобы выразить это яснее (см. Комментарии)

$y=f(x)$$x$$f(x)$

$f(x_1)$$f(x_2)$$x_1$$x_2$$f(x)$$x$ (будь то линия, парабола и т. д.), поскольку у него нет модели этого отношения, оно просто предполагает, что оно может быть аппроксимировано с помощью изучения ближайших точек.

$\hat{f}(X)=\hat{\beta} X$

$X$

Термин «на основе модели» является синонимом «на основе распределения» при обсуждении методов кластеризации. Линейная регрессия делает предположения о распределении (что ошибки являются гауссовыми). KNN не делает никаких предположений о распределении. Это различие.

КНН на основе экземпляра

Для того, чтобы сделать прогноз для нового наблюдения, вы должны сохранить весь обучающий набор данных, потому что в наборе данных нет модели .

Вот как работает kNN: учитывая новое наблюдение, мы вычислим расстояние между этим новым наблюдением и всеми другими наблюдениями в наборе обучающих данных. Затем вы получаете соседей (тех, которые ближе всего к новому наблюдению).

$k=5$

Как можно найти модель?

Теперь, если мы попытаемся найти функцию, которая не является «локально постоянной», это будет нормальное распределение. В этом случае вы получите алгоритм вызова Linear Discriminant Analysis или Naive Bayes (в зависимости от некоторых других предположений).