Происхождение термина «регуляризация»

Когда я знакомлю студентов с концепциями, мне часто бывает весело рассказывать им о происхождении терминологии (например, «регрессия» - это термин с интересным происхождением). Я не смог открыть историю / историю термина «регуляризация» в статистическом / машинном обучении.

Итак, каково происхождение термина регуляризация ?

Подобно вкладу Мэтью Ганна , это тоже не ответ, а скорее правдоподобный кандидат.

Я также впервые услышал о термине «регуляризация» в контексте регуляризации Тихонова и, в частности, в контексте (линейных) обратных задач в геофизике. Интересно, что, хотя я и думал, что это, вероятно, связано с моей областью обучения (т. Е. Смотри мое имя пользователя), по-видимому, Тихонов фактически сделал большую часть своей работы в этой области!

Я догадываюсь, что современный подход к «регуляризации», вероятно , возник из работы Тихонова. Опираясь на это предположение, мой вклад здесь состоит из двух частей.

Первая часть (кресло) носит исторический характер (основана на прочтении бумажных заголовков и моих собственных предубеждениях!). В то время как статья 1963 г. « Решение некорректно сформулированных задач и метод регуляризации, по-видимому, является первым использованием термина« регуляризация », я не был бы слишком уверен, что это правда. Эта ссылка цитируется в Википедии как

Тихонов А.Н. (1963). "Решение проблемы и метод регуляции". Доклады Академии наук СССР. 151: 501–504. Переведено в «Решение некорректно сформулированных задач и метод регуляризации». Советская математика. 4: 1035–1038.

создается впечатление, что сам Тихонов написал хотя бы часть этой работы на русском языке, поэтому фразу «регуляризация» мог придумать более поздний переводчик. [ОБНОВЛЕНИЕ: Нет, «регуляризация» = регуляризация , см. Комментарий Кагдаса Озгенца.] Более того, эта работа, кажется, является частью непрерывной линии исследований, проводимых Тихоновым в течение гораздо более длительного времени . Например, бумага

Тихонов Андрей Николаевич (1943). "Об устойчивости обратных задач". Доклады Академии наук СССР. 39 (5): 195–198.

показывает, что он занимался той же общей темой по крайней мере 20 лет назад. Однако этот график предполагает, что, вероятно, работа по обратной задаче началась гораздо ближе к 1963 году, чем к 1943 году.

[ ОБНОВЛЕНИЕ: этот перевод статьи 1943 года показывает, что термин « регулярность » здесь использовался для обозначения «устойчивости обратной задачи (или непрерывности обратного отображения)» .]

Вторая часть моего вклада - это гипотеза о том, как «регуляризация» могла быть изначально задумана в этом контексте. Обычно «регулярный» используется как синоним «гладкого», в частности, при описании геометрии кривой и / или поверхности. В большинстве приложений геофизики желаемым решением является некоторая сеточная оценка пространственно распределенного поля , а регуляризация Тихонова используется для наложения гладкости заранее.

(Матрица Тихонова, как правило, представляет собой дискретный оператор пространственной производной , похожий на матрицы PDE, в сравнении с единичной матрицей регрессии гребня. Это происходит потому, что для этих сеток / прямых моделей нуль-пространство матрицы прямой модели имеет тенденцию включать такие вещи, как «режимы шахматной доски», которые загрязняют результаты, если не оштрафованы; похоже на это ).

Обновление: эти вопросы проиллюстрированы в моем ответе здесь .

Резюме

1. Я также проголосовал за Тихонова как инициатора (вероятно, около 1963 г.)
2. Исходными приложениями могло быть геофизическое обратное моделирование, поэтому термин «регуляризация» может относиться к тому, чтобы сделать результирующие карты * более гладкими, то есть «регулярными».

$u[x]=F[\theta]$$\theta=F^{-1}[u]$

Это часть ответа, часть длинного комментария. Неполный список кандидатов:

1. Тихонов Андрей. «Решение некорректно сформулированных задач и метод регуляризации». Советская математика Докл .. Том. 5. 1963. Тихонов известен Тихоновской регуляризацией (также известной как регрессия гребня).

2. Есть понятие регуляризации в физике, которое восходит по крайней мере к 1940-м годам, но я не вижу никакой связи с регуляризацией Тихонова? (Я не физик, хотя.)

3. Инженерные тексты говорят о регуляризации реки (для улучшения судоходства), восходящей по крайней мере к 1880-м годам.

Просматривая http://books.google.com , я не вижу широкого использования термина «регуляризация» до 1970-х годов, когда он начинает появляться снова и снова и снова в контексте книг по математике и физике.

Проще говоря, этот термин пережил естественную эволюцию научных терминов, поскольку он отражает основную цель метода: из множества решений некорректной проблемы он выбирает правильные решения , то есть

согласно правилу

(свободный словарь определение )

Это также используется на общем языке для проектирования гладкой поверхности, например, в столярных изделиях. Точно так же решения регрессионной задачи будут выглядеть более регулярно, если правило состоит в том, чтобы минимизировать общее отклонение (TV) негладких битов восстановленного сигнала (например, измеряемого общей энергией градиента).

$\ell_0$