Является ли регуляризация Тихонова такой же, как и у хребта?

Ответы:

47

Регуляризация Тихонова представляет собой больший набор, чем гребневая регрессия. Вот моя попытка объяснить, как именно они отличаются.

Предположим, что для известной матрицы A и вектора b мы хотим найти вектор x такой, что:

Ax=b .

Стандартный подход - обычная линейная регрессия наименьших квадратов. Однако, если нет x удовлетворяет уравнение или более чем один x делает тот это решение не единственно-проблема , как говорят, чтобы быть некорректными. Обычные наименьшие квадраты стремятся минимизировать сумму квадратов невязок, которая может быть кратко записана как:

Axb2

гдеэто евклидова норма. В матричной записи решение, обозначаемое , имеет вид:хx^

x^=(ATA)1ATb

Тихоновская регуляризация минимизирует

Axb2+Γx2

для некоторой подходяще выбранной матрицы Тихонова . Явное решение в форме матрицы, обозначаемое , задается как:хΓx^

x^=(ATA+ΓTΓ)1ATb

Эффект регуляризации может варьироваться через шкалу матрицы . Для это сводится к нерегулярному решению наименьших квадратов при условии, что (A T A) −1Γ = 0ΓΓ=0 .

Обычно для регрессии гребня описаны два отклонения от регуляризации Тихонова. Во-первых, матрица Тихонова заменяется кратным единичной матрицы

Γ=αI ,

отдавая предпочтение решениям с меньшей нормой, т. е. норме . Тогда Γ T Γ становится α 2 I, приводя кL2ΓTΓα2I

x^=(ATA+α2I)1ATb

Наконец, для регрессии гребня обычно предполагается, что переменные масштабируются так, чтобы X T X имел форму корреляционной матрицы. и X T b - вектор корреляции между переменными x и b , приводящий кAXTXXTbxb

x^=(XTX+α2I)1XTb

Обратите внимание, что в этом виде множитель Лагранжа обычно заменяется на k , λ или каким-либо другим символом, но сохраняет свойство λ 0.α2kλλ0

Формулируя этот ответ, я признаю заимствование свободно из Википедии и из оценки Риджа весов передаточных функций.

деревенщина
источник
10
(+1) Для полноты картины стоит отметить, что при практическом применении регуляризованная система обычно записывается в виде , который затем может быть решена как стандарт линейной задачи наименьших квадратов (напримерпомощью QR/ СВД на A , без явного формирования нормальных уравнений). [AαΓ]x[b0]A^xb^A^
GeoMatt22
Хорошая точка зрения. Я добавлю это позже.
Карл
Являются ли сглаживающие сплайны и подобные методы расширения базиса подмножеством регуляризации Тихонова?
Sycorax говорит восстановить Monica
@ Sycorax Я не ожидаю, что так. Например, B-сплайн установит производные в ноль в конечных точках и сопоставит производные и величины сплайна с данными между конечными точками. Регуляризация Тихонова минимизирует любую ошибку параметров, о которой вы сообщаете, изменяя наклон подгонки. Итак, разные вещи.
Карл
Кроме того, регуляризация Тихонова имеет формулировку в произвольных размерностях для (сепарабельных?) Гильбертовых пространств
AIM_BLB
23

Карл дал исчерпывающий ответ, который хорошо объясняет математические различия между регуляризацией Тихонова и регрессией гребня. Вдохновленный исторической дискуссией здесь , я подумал, что было бы полезно добавить короткий пример, демонстрирующий, как более общая структура Тихонова может быть полезна.

Сначала краткая заметка о контексте. Хребетная регрессия возникла в статистике, и в то время как регуляризация в настоящее время широко распространена в статистике и машинном обучении, подход Тихонова был первоначально мотивирован обратными проблемами, возникающими при ассимиляции данных на основе моделей (особенно в геофизике ). Упрощенный пример ниже относится к этой категории (более сложные версии используются для реконструкций палеоклимата ).


Представьте, что мы хотим восстановить температуры в прошлом на основе современных измерений u [ x , t = T ] . В нашей упрощенной модели мы будем предполагать, что температура развивается в соответствии с уравнением теплопроводности u t = u x x в 1D с периодическими граничными условиями u [ x + L , t ] = u [ x , t ] конечная разностьu[x,t=0]u[x,t=T]

ut=uxx
u[x+L,t]=u[x,t]
A просто (явно) подход приводит к дискретной модели Математически матрица эволюции A обратима, поэтому мы имеем u t = A - 1 u t + 1. Однакочисленнотрудности возникнут, если интервал времениTслишком велик.
ΔuΔt=LuΔx2ut+1=Aut
A
ut=A1ut+1
T

Тихонов регуляризация может решить эту проблему путем решения у т

Autut+1ωLut0
ω21uxx

Ниже приводится сравнение результатов:

Tikhonov vs. Checkerboard

u0ufwdu0uinvuregu0 с достаточно хорошей точностью.

uut0


Код Matlab для примера приведен ниже (его можно запустить здесь ).

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');
GeoMatt22
источник
Все комплименты тепло приняты. Стоит отметить, хотя и немного не по теме, что регуляризация Тихонова и регрессия гребня могут использоваться для нацеливания на цели физической регрессии. (+1)
Карл
2
@ Карл, это, конечно, правда. Мы могли бы даже использовать это здесь , переключая переменные вvзнак равноLU! (В общем, любая задача Тихонова с обратимой матрицей Тихонова может быть преобразована в регрессию гребня.)
GeoMatt22