Являются ли алгоритмы дерева решений линейными или нелинейными

Недавно моего друга спросили, являются ли алгоритмы дерева решений линейными или нелинейными алгоритмами в интервью. Я пытался найти ответы на этот вопрос, но не смог найти удовлетворительного объяснения. Может кто-нибудь ответить и объяснить решение этого вопроса? Кроме того, каковы некоторые другие примеры нелинейных алгоритмов машинного обучения?

Дерево решений - это нелинейное отображение Xна y. Это легко увидеть, если вы возьмете произвольную функцию и создадите дерево с максимальной глубиной.

Например:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Конечно, это полностью переопределенное дерево и не будет обобщать. Но это демонстрирует, почему дерево решений является нелинейным отображением.

Недавно моего друга спросили, является ли алгоритм дерева решений линейным или нелинейным алгоритмом в интервью

Деревья решений - это нелинейный классификатор, такой как нейронные сети и т. Д. Он обычно используется для классификации нелинейно разделимых данных.

Даже если вы рассмотрите пример регрессии, дерево решений является нелинейным.

Например, линия линейной регрессии будет выглядеть примерно так:

Красные точки - это точки данных.

И график регрессии дерева решений будет выглядеть примерно так:

Таким образом, очевидно, что деревья решений являются нелинейными

Деревья решений являются нелинейными. В отличие от линейной регрессии, нет уравнения для выражения взаимосвязи между независимыми и зависимыми переменными.

Пример:

Линейная регрессия - Цена фруктов = b0 + b1 * Свежесть + b2 * Размер

Дерево решений - Узлы: Спелый - Да или нет | Свежий - да или нет | Размер - <5,> 5, но <10 и> 10 |

Во втором случае не существует линейной зависимости между независимыми и зависимыми переменными.

Как отмечалось многими, дерево регрессии / принятия решений является нелинейной моделью. Однако обратите внимание, что это кусочно-линейная модель: в каждой окрестности (определенной нелинейным образом) она линейна. На самом деле модель является просто локальной константой.

$\theta$

$1(A)$

$VC$$2^d$$d$$2^{2^d}$$m$$d$$min(2^d, m)$ID3C4.5