Как обучить (логистическую?) Регрессию в R с использованием функции потерь L1?

Я могу обучить логистической регрессии в Rиспользовании

glm(y ~ x, family=binomial(logit)))

но, IIUC, это оптимизирует для логарифмической вероятности.

Есть ли способ обучить модель, используя линейную ( ) функцию потерь (которая в этом случае такая же, как общее расстояние изменения )? $L_1$

Т.е., учитывая числовой вектор и битовый (логический) вектор , я хочу построить монотонную (фактически возрастающую) функцию такую, чтосводится к минимуму $x$ $y$ $f$ $\sum |f(x)-y|$

Смотрите также

Как тренировать логистическую регрессию в R, используя функцию потерь L1?

logistic ДСН
источник

То, что вы хотите, не существует, и быть тупым, это не имеет особого смысла. Мы можем обсудить альтернативы, но вам нужно более подробно изложить, что вы пытаетесь сделать. Почему вы хотите соответствовать логистической модели с потерей L1?

user603

@ user603: Потому что я хочу оценить свою модель с помощью TVD

sds

Похоже, вы говорите о подгонке логистической кривой к данным, а не о подгонке биномиально распределенных данных, то есть о форме нелинейной регрессии , но с использованием а не нормы. Действительно, функция потерьпредполагает, что максимум не равен (если это так, он делает ссылку на биномиальный GLM, вводящий в заблуждение). С другой стороны, если он действительно будет ограничен до 0-1, функция потерь не имеет смысла. Можете ли вы дать подробную информацию о вашей реальной ситуации, пожалуйста?

L_{1}

$L_1$

L_{2}

$L_2$

\sum | f (x) - y |

$\sum |f(x)-y|$

1

$1$

Glen_b

Обратите внимание, что справка требует, чтобы вы не пересекали один и тот же вопрос на нескольких сайтах, а вместо этого выбирали один сайт. Если вы позже передумаете о том, какой сайт лучше, пометьте его для внимания модератора и попросите перенести его.

Glen_b

@Glen_b: Я думаю, что «битовый (логический) вектор y» подразумевает ответ 0/1.

SDS

Ответы:

То, что вы хотите сделать, не существует, потому что это, из-за отсутствия лучшего слова, математически ошибочно.

Но сначала я подчеркну, почему я считаю, что предпосылки вашего вопроса обоснованы. Затем я попытаюсь объяснить, почему я думаю, что выводы, которые вы из них делаете, основаны на неправильном понимании логистической модели, и, наконец, я предложу альтернативный подход.

Я буду обозначать ваших наблюдений (более жирные буквы обозначают векторы), которые лежат в мерном пространстве (первая запись в равна 1) с , и является монотонной функцией , скажем, как логистическая кривая исправить идеи. Для целесообразности, я просто предположу , что является достаточно большой по сравнению с . $\{(\pmb x_i,y_i)\}_{i=1}^n$ $n$ $p$ $\pmb x_i$ $p<n$ $y_i\in [0,1]$ $f(\pmb x_i)= f(\pmb x_i'\pmb\beta)$ $\pmb x_i'\pmb\beta$ $n$ $p$

Вы правы в том, что если вы намерены использовать TVD в качестве критерия для оценки подобранной модели, то разумно ожидать, что ваше соответствие оптимизирует этот же критерий среди всех возможных кандидатов в ваших данных. следовательно

β β^{*} = \underset{β β \in R^{p}}{\arg min} | | y y - f (x x_{i}^{'} β β) | |_{1}

$\pmb\beta^*=\underset{\pmb\beta\in\mathbb{R}^{p}}{\arg\min}\;\;\;\;\;||\pmb y-f(\pmb x_i'\pmb\beta)||_1$

Проблема в ошибке : и если мы (мы просто хотим, чтобы наша модель была асимптотически несмещенной ), тогда должен быть гетероскедастичным . Это потому, что может принимать только два значения, 0 и 1. Поэтому, учитывая, что , также может принимать только два значения: когда , что происходит с вероятностью и когда $\epsilon_i=y_i-f(\pmb x_i'\pmb\beta)$ $E(\pmb\epsilon)=0$ $\epsilon_i$ $y_i$ $\pmb x_i$ $\epsilon_i$ $1-f(\pmb x_i'\pmb\beta)$ $y_i=1$ $f(\pmb x_i'\pmb\beta)$ $-f(\pmb x_i'\pmb\beta)$ $y_i=1$ , что происходит с вероятностью . $1-f(\pmb x_i'\pmb\beta)$

Эти соображения вместе подразумевают, что:

var (ϵ ϵ) = E (ϵ ϵ^{2}) = (1 - f (x x^{'} β β))^{2} f (x x^{'} β β) + (- f (x x^{'} β β))^{2} (1 - f (x x^{'} β β)) = (1 - f (x x^{'} β β)) f (x x^{'} β β) = E (y y | x x) E (1 - y y | x x)

$\text{var}(\pmb\epsilon)=E(\pmb\epsilon^2)=(1-f(\pmb x'\pmb\beta))^2f(\pmb x'\pmb\beta)+(-f(\pmb x'\pmb\beta))^2(1-f(\pmb x'\pmb\beta))\\ \;\;\;\;\;\;\;\;\;\;\;\;\;=(1-f(\pmb x'\pmb\beta))f(\pmb x'\pmb\beta)=E(\pmb y|\pmb x)E(1-\pmb y|\pmb x)$

следовательно, не является константой, но имеет вогнутую форму параболы и максимизируется, когда такова, что . $\text{var}(\pmb\epsilon)$ $\pmb x$ $E(y|\pmb x)\approx .5$

Эта неотъемлемая гетероскедастичность остатков имеет последствия . Это подразумевает, среди прочего, что при минимизации потерь вы асимптотически часть вашей выборки. То есть подогнанная не помещается в данные вообще, а только в той части, которая сгруппирована вокруг мест, где такова, что . То есть это наименее информативные точки данных в вашей выборке : они соответствуют тем наблюдениям, для которых шумовая составляющая является самой большой. Следовательно, ваше соответствие подтягивается к , например, не имеет значения. $l_1$ $\pmb\beta^*$ $\pmb x$ $E(\pmb y|\pmb x)\approx .5$ $\pmb\beta^*=\pmb\beta:f(\pmb x'\pmb\beta)\approx .5$

Как видно из приведенного выше описания, одно из решений состоит в том, чтобы отменить требование непредвзятости. Популярный способ смещения оценки (с приложением некоторой байесовской интерпретации) состоит в том, чтобы включить термин усадки. Если мы изменим масштаб ответа:

y_{i}^{+} = 2 (y_{i} - .5), 1 \leq i \leq n

$y^+_i=2(y_i-.5),1\leq i\leq n$

и для вычислительной целесообразности замените другой монотонной функцией --Оно будет удобно продолжение , чтобы обозначить первую компоненту вектора параметра , как , а остальных из них - и включает в себя термин усадки (например , одного вида ), в результате возникает проблема оптимизации: $f(\pmb x'\pmb\beta)$ $g(\pmb x,[c,\pmb\gamma])=\pmb x'[c,\pmb\gamma]$ $c$ $p-1$ $\pmb\gamma$ $||\pmb\gamma||_2$

[c^{*}, γ γ^{*}] = \underset{[[c, γ γ] \in R^{p}}{\arg min} \sum_{i = 1}^{n} max (0, 1 - y_{i}^{+} x x_{i}^{'} [[c, γ γ]) + \frac{1}{2} | | γ γ | |_{2}

$[c^*,\pmb\gamma^{*}]=\underset{\pmb[c,\pmb\gamma]\in\mathbb{R}^{p}}{\arg\min}\;\;\sum_{i=1}^n\max(0,1-y_i^+\pmb x_i'\pmb[c,\pmb\gamma])+\frac{1}{2}||\pmb\gamma||_2$

Обратите внимание, что в этой новой (также выпуклой) задаче оптимизации штраф за правильно классифицированные наблюдения равен 0, и он растет линейно с для неправильно классифицированной - как в потеря. Решением этой второй задачей оптимизации является знаменитым линейным SVM (с совершенным разделением) коэффициентами. В отличие от , имеет смысл выучить эти из данных со штрафом типа TVD ('type' из-за термина смещения) , Следовательно, это решение широко реализовано. Смотрите, например, R пакет LiblineaR . $\pmb x'\pmb[c,\gamma]$ $l_1$ $[c^*,\pmb\gamma^*]$ $\pmb\beta^*$ $[c^*,\pmb\gamma^{*}]$

user603
источник

Я хотел бы дать вам более 25 баллов :-)

SDS

@sds; спасибо: это был отличный вопрос :) Я вернусь в течение дня и заполню детали, исправлю опечатку.

user603

Я не уверен, почему вы хотели бы использовать потерю L1 для чего-то ограниченного от 0 до 1. В зависимости от вашей цели, вы можете вместо этого рассмотреть что-то вроде потери шарнира, которая аналогична потере L1 в одном направлении и плоскости в другом.

В любом случае код ниже должен делать то, что вы просили. Обратите внимание, что оптимальный ответ - это в основном пошаговая функция.

set.seed(1)

# Fake data
x = seq(-1, 1, length = 100)
y = rbinom(100, plogis(x), size = 1) # plogis is the logistic function

# L1 loss
loss = function(y, yhat){
  sum(abs(y - yhat))
}

# Function to estimate loss associated with a given slope & intercept
fn = function(par){
  a = par[1]
  b = par[2]
  loss(y = y, yhat = plogis(a + b * x))
}

# Find the optimal parameters
par = optim(
  par = c(a = 0, b = 0),
  fn = fn
)$par

# Plot the results
plot(y ~ x)
curve(plogis(par[1] + par[2] * x), add = TRUE, n = 1000)

Дэвид Дж. Харрис
источник

Вы можете использовать пакет glmnet для установки моделей L1, L2. Это не ограничивается логистической регрессией, но включает ее.

Вот виньетка: http://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html

Существует также веб-семинар: https://www.youtube.com/watch?v=BU2gjoLPfDc

Liblinear хорош, но я нашел glmnet легче начать. Glmnet включает в себя функцию, которая выполняет перекрестную проверку и выбирает для вас параметр регуляризации на основе различных метрик, таких как AUC.

Что касается теории, я бы прочитал статью Тибшиарини о лассо (регуляризация L1) и главу, посвященную элементам статистического обучения. http://statweb.stanford.edu/~tibs/lasso/lasso.pdf

По поводу потери лога, это просто для оценки моделей. Это не функция потерь для подгонки модели.

Marbel
источник