Является ли пень решения линейной моделью?

Пень решений - это дерево решений с одним разделением. Его также можно записать как кусочную функцию.

Например, предположим, что $x$ является вектором, а $x_1$ является первым компонентом $x$ , в настройке регрессии может быть принят некоторый пень решения

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Но линейная ли это модель? где можно записать как $f(x)=\beta^T x$ ? Этот вопрос может показаться странным, потому что, как упоминалось в ответах и комментариях, если мы построим кусочную функцию, то это не линия. Пожалуйста, смотрите в следующем разделе, почему я задаю этот вопрос.

РЕДАКТИРОВАТЬ:

Причина, по которой я задаю этот вопрос, заключается в том, что логистическая регрессия - это (обобщенная) линейная модель, а граница решения - это линия, также для пня решения. Обратите внимание, у нас также есть вопрос: почему логистическая регрессия является линейной моделью? , С другой стороны, кажется неправдой, что пень решения является линейной моделью.

Еще одна причина, по которой я это задал, заключается в следующем: при повышении уровня, если базовый учащийся является линейной моделью, конечная модель представляет собой просто простую линейную модель? где, если мы используем линейную модель в качестве базового ученика, мы получаем не что иное, как линейную регрессию. Но если мы выберем базового ученика в качестве основы для принятия решения, мы получим очень интересную модель.

Вот один пример ускорения принятия решения по регрессии с 2 функциями и 1 непрерывным ответом.

machine-learning cart linear boosting Haitao Du
источник

Почему вы считаете это линейным?

Тим

@ hxd1011 здесь важно различать границу решения и функцию решения

shadowtalker

Я мог бы назвать это полиномом 1000-го порядка со всеми порядками от 1 до 1000, равными нулю. Я мог бы назвать это моделью нулевого порядка (она же константа), и она бы более кратко описывала ключевые особенности. Классическое дерево кусочно-постоянное. Тривиальное дерево - пень - это единое разбиение в пространстве, где модель с одной стороны постоянна, а другая - с другой константой. Он не является глобально постоянным, но и не является поли1. «Кубистская» библиотека в R подходит для реальных линейных (poly1) моделей вместо константных моделей. Вы можете попробовать это.

EngrStudent - Восстановить Монику

Если вы рисуете линию на плоскости (скажем, y = 0) и берете любую функцию

, то у

будут контурные линии, которые являются реальными линиями (параллельными оси

), но это не будет линейной функцией.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

Мэтью Друри

Это странный вопрос. Можете ли вы построить функцию из вашего примера (которая равна 3 для x <2 и 5 для x> 2)? Посмотрите на это - это прямая линия? Если это не прямая линия, то это не линейная функция.

говорит амеба, восстанови Монику

Ответы:

Нет, если вы не преобразуете данные.

Это линейная модель, если вы преобразуете используя функцию индикатора: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Тогда $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Изменить: это было упомянуто в комментариях, но я хочу подчеркнуть это и здесь. Любая функция, которая разделяет данные на две части, может быть преобразована в линейную модель этой формы с перехватом и одним входом (индикатор того, на какой «стороне» раздела находится точка данных). Важно принять к сведению разницу между функцией принятия решения и границей принятия решения .

shadowtalker
источник

«преобразование» сложно, я думаю, что нейронная сеть (MLP) нелинейна, но после преобразования она линейна ..

Haitao Du

Это является линейной моделью в параметрах. И это аффинное линейное в манекена

x^{'}

$x'$

Майкл М

@MichaelM как это линейно по параметрам? Я предполагаю, что под «параметрами» вы подразумеваете выбор

x \leq 2

$x \leq 2$

shadowtalker

@ hxd1011 ответ «нет, если вы не преобразуете данные»

shadowtalker

Я бы посоветовал вам отредактировать свой ответ, включив в него «нет, если вы не преобразуете данные» (из вашего последнего комментария). В настоящее время ваши вступительные слова: «Это линейная модель», и люди могут запутаться.

говорит амеба, восстанови Монику

Ответы на ваши вопросы:

Пень решения не является линейной моделью.
Граница решения может быть линией, даже если модель не является линейной. Логистическая регрессия является примером.
Усиленная модель не обязательно должна быть той же моделью, что и базовый учащийся. Если вы подумаете об этом, ваш пример повышения, плюс вопрос, с которым вы связаны, доказывает, что пень решения не является линейной моделью.

Flounderer
источник

Этот ответ более многословен, чем нужно, чтобы просто ответить на вопрос. Я надеюсь спровоцировать некоторые комментарии от настоящих экспертов.

Однажды я был в зале суда, и судья спросил (по уважительной причине в контексте), если мы называем собачий хвост ногой, значит ли это, что у собаки 5 ног? Так что же такое линейная модель?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ с важным ограничением, что члены ошибки являются независимыми и нормально распределенными. С этим определением нельзя сказать, является ли ваша модель линейной, потому что вы не дали никакой информации о члене ошибки. Если вы сбрасываете ограничение на погрешность, то оно тавтологически линейно в функции, которую вы даете, или в функции, которую дает функция ssdecontrol. Однако наивно, в контексте этого вопроса, это может быть неудовлетворительным. Любая функция может рассматриваться как линейная в этом смысле. Это потому, что любое пространство функций можно превратить в векторное пространство функций.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

Мех
источник

Линейность не имеет ничего общего с ошибочными терминами. Это связано с тем, что он состоит из линейной комбинации параметров . Это представляет прямую линию в 2D-пространстве (но в более широком смысле представляет плоскость).

Shadowtalker

@ssdecontrol - I can only tell you that a probability Ph.D. (and a student of Kolmogorov at that) insisted to me that the term 'linear model', when used in statistics, included a statement about the error term. I'm actually very interested in how common this view might be. Linear has many meanings. For example, if one has an equation in N space

f (x) = 0

$f(x) = 0$ , then we could say it is linear if the zero set is a hyperplane. Of course that would mean we could write

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . However the function would be linear

⟺ a_{0} = 0

$\iff a_0 = 0$ i.e.

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$ .

meh

if that's what he insists, then that's his opinion and not some kind of hard fact. As far as I'm aware, there is no rigorous accepted definition for a "linear model", nor is there a need for one in my mind. For me, the fact that there is an error term involved just turns the model from a "linear model" to a "statistical linear model". I don't see anything inherently linear about her terms, nor do I see anything inherently statistical about linear models.

shadowtalker

IMO insisting on the presence of an error term just discounts what, say, and engineering or physicist might deem a "linear model" of a deterministic physical process.

shadowtalker