Что означает «решение в закрытой форме»?

82

Я часто сталкивался с термином «решение в закрытой форме». Что означает решение в закрытой форме? Как определить, существует ли решение в близкой форме для данной проблемы? Ища в Интернете, я нашел некоторую информацию, но ничего в контексте разработки статистической или вероятностной модели / решения.

Я очень хорошо понимаю регрессию, поэтому, если кто-нибудь сможет объяснить концепцию со ссылкой на регрессию или подбор модели, ее будет легко потреблять. :)

regression machine-learning probability terminology stochastic-processes arjsgh21
источник

4

Этот вопрос, кажется, был чем-то вроде магнита для некачественных ответов в течение некоторого времени; Я подумал, что, возможно, это следует защитить сейчас.

Glen_b

37

«Уравнение называется решением в замкнутой форме, если оно решает заданную проблему в терминах функций и математических операций из заданного общепринятого множества. Например, бесконечная сумма, как правило, не считается замкнутой. Однако выбор того, что называть замкнутой формой, а что нет, является довольно произвольным, поскольку новая функция «замкнутой формы» может быть просто определена в терминах бесконечной суммы ». --Вольфрам Альфа

а также

«В математике выражение называется выражением замкнутой формы, если оно может быть выражено аналитически в терминах конечного числа определенных« хорошо известных »функций. Как правило, эти известные функции определены как элементарные функции - константы, одна переменная x, элементарные операции арифметики (+ - × ÷), n-е корни, экспонента и логарифм (которые, таким образом, также включают тригонометрические функции и обратные тригонометрические функции). Часто говорят, что задачи можно решить, если их можно решить в терминах выражения в закрытой форме. " - Википедия

Примером решения в замкнутой форме в линейной регрессии будет уравнение наименьших квадратов

\hat{β} = (X^{T} X)^{- 1} X^{T} y

$\hat\beta=(X^TX)^{-1}X^Ty$

источник

Учитывая, что все регрессионные сценарии можно рассматривать как задачу решения системы уравнений, когда не было бы решения в замкнутой форме? Неверно поставленная или разреженная задача потребует приблизительного решения, так что, если не существует решения в замкнутой форме? Как насчет использования градиентного спуска с регуляризацией?

arjsgh21

Я нашел эту дискуссию полезной - ссылка

arjsgh21

@ arjsgh21 Вам все еще нужно уточнить, что значит быть закрытым решением? Потому что ваш новый вопрос, по-видимому, касается того, когда есть решения с закрытыми формами (или нет) в регрессионных задачах, что является совершенно новой темой, и, на мой взгляд, ее следует задавать как новый вопрос.

Спасибо BabakP. Я думаю, что я понимаю это сейчас, со ссылкой на регрессию, а также в противном случае.

arjsgh21

1

Меня смущает, почему CrossValidated - единственный «форум по обмену стеками», который постоянно поддерживает запутанные, но правильные ответы на ответы, которые обеспечивают понимание. Лучший ответ текущего урожая - @ Luca's, и он недооценен. Правда, это только ссылка, но отличная ссылка, которую легко понять. Этот чрезмерно эрудированный ответ помогает решить проблему только тем людям, которые уже знают ответ. :(

Майк Уильямсон

17

Большинство процедур оценки включают в себя поиск параметров, которые минимизируют (или максимизируют) некоторую целевую функцию. Например, с OLS мы минимизируем сумму квадратов невязок. При оценке максимального правдоподобия мы максимизируем функцию логарифмического правдоподобия. Разница тривиальна: минимизация может быть преобразована в максимизацию с помощью отрицательного значения целевой функции.

Иногда эта проблема может быть решена алгебраически, давая решение в замкнутой форме. С OLS вы решаете систему условий первого порядка и получаете знакомую формулу (хотя вам все еще, вероятно, нужен компьютер для оценки ответа). В других случаях это невозможно математически, и вам необходимо искать значения параметров с помощью компьютера. В этом случае компьютер и алгоритм играют большую роль. Нелинейные наименьшие квадраты - один из примеров. Вы не получите явную формулу; все, что вы получите, это рецепт, который вам нужен компьютер для реализации. Рецепт может быть начат с первоначального предположения о том, какими могут быть параметры и как они могут варьироваться. Затем вы пробуете различные комбинации параметров и видите, какой из них дает вам наименьшее / наибольшее значение целевой функции. Это подход грубой силы и занимает много времени. Например, $10^5$ комбинаций, и это просто ставит вас рядом с правильным ответом, если вам повезет. Этот подход называется поиском по сетке.

Или вы можете начать с догадки и уточнить ее в некотором направлении, пока улучшения целевой функции не станут меньше некоторого значения. Они обычно называются градиентными методами (хотя есть и другие, которые не используют градиент для выбора направления движения, например, генетические алгоритмы и имитация отжига). Некоторые проблемы, подобные этой, гарантируют, что вы быстро найдете правильный ответ (квадратичные целевые функции). Другие не дают такой гарантии. Вы можете беспокоиться о том, что застряли на локальном, а не глобальном оптимуме, поэтому попробуйте различные начальные предположения. Вы можете обнаружить, что совершенно разные параметры дают одинаковое значение целевой функции, поэтому вы не знаете, какой набор выбрать.

Вот хороший способ получить интуицию. Предположим, у вас была простая модель экспоненциальной регрессии, где единственным регрессором является перехват:

E [y] = \exp {α}

$\begin{equation} E[y]=\exp\{\alpha\} \end{equation}$

функцией является

Q_{N} (α) = - \frac{1}{2 N} \sum_{i}^{N} {(y_{i} - \exp {α})}^{2}

$\begin{equation} Q_N(\alpha)=-\frac{1}{2N} \sum_i^N \left( y_i - \exp\{\alpha\} \right)^2 \end{equation}$

С этой простой проблемой возможны оба подхода. Решение в замкнутой форме, которое вы получите, взяв производную: . Вы также можете проверить, что все остальное дает вам более высокое значение целевой функции, подключив вместо этого . Если у вас было несколько регрессоров, аналитическое решение вылетает в окно. $\alpha^* = \ln \bar y$ $\ln (\bar y + k)$

Димитрий Васильевич Мастеров
источник

Вы неявно приравнивали «аналитический» к «замкнутому» в последнем предложении?

whuber

2

Тогда я подумал, что это синоним: mathworld.wolfram.com/Analytic.html

Дмитрий В. Мастеров

Вы видели комментарии о неоднозначности в конце этой страницы MathWorld? Проблема в том, что в настоящем контексте «аналитика» может быть разумно понята несколькими различными способами. Кроме того, «аналитический» и «аналитический» не означают одно и то же (просто как «исторический» и «исторический» имеют разные значения).

whuber

Я не знаю, есть ли разница между «аналитическим решением», «аналитическим решением» и «закрытой формой». MathWorld не имеет отдельной записи для аналитики, и он определяет аналитическое решение проблемы как решение, которое может быть записано в «закрытой форме» в терминах известных функций, констант и т. Д. М.В. говорит, что аналитические и аналитические являются вариантами . Различие между историческим и историческим действительно, но я не понимаю, что это имеет отношение к этому случаю. Если я не прав, пожалуйста, поправьте меня.

Дмитрий Васильевич Мастеров

2

Во многих математических контекстах «аналитический» - это точный термин искусства, применяемый к любой функции, локально выражаемой в виде степенного ряда с положительным радиусом сходимости, тогда как «аналитический» гораздо шире связан с разложением на основные части. Как указывают цитаты BabakP, «закрытая форма» приобретает значение только в некотором контексте общепринятых процедур объединения значений (обычно предполагается, что они состоят из элементарных, но не трансцендентных функций).

whuber

13

Я думаю, что этот сайт предоставляет простую интуицию, выдержка из которой:

Решение в закрытой форме (или выражение в закрытой форме) - это любая формула, которая может быть оценена в конечном числе стандартных операций. ... Численное решение - это любое приближение, которое может быть оценено в конечном числе стандартных операций. Решения в замкнутой форме и численные решения схожи в том, что они оба могут быть оценены с помощью конечного числа стандартных операций. Они отличаются тем, что решение в замкнутой форме является точным, тогда как численное решение является лишь приближенным.

Лука Бертинетто
источник

2

Предоставляя только ссылку, это, безусловно, самый полезный ответ.

Майк Уильямсон

2

Включение Уэйном цитаты из ссылки определенно улучшило ответ.

Glen_b

2

Более того, ссылка Луки сейчас мертва.

Нарамсим

-2

Ищете непрофессиональные термины или болезненное словоблудие, которое строго определяет смысл? Я предполагаю, что непрофессиональные термины можно найти повсюду. Допустим, вы хотели получить решение в виде замкнутой формы квадратного корня из 8. Решение в замкнутой форме равно 2 * (2) ^ 1/2 или в два раза больше квадратного корня из двух. Это в отличие от решения незамкнутой формы 2.8284. (см. квадратный корень из 2 википедии, чтобы увидеть, что с точностью до 69 знаков после запятой это с точностью до 1/10 000). Одно абсолютно определено в математических терминах, а другое нет. Решение в закрытой форме дает точный ответ, а решение, не являющееся закрытой формой, является приближенным, но вы можете получить решение в не замкнутой форме настолько близко, насколько это возможно, к решению в закрытой форме. Звучит противо-интуитивно, но если вам нужна более точная информация, просто сделайте немного больше вычислений.

Cheesepipe
источник

3

Это необычное использование термина «закрытая форма». Не могли бы вы предоставить ссылку?

whuber

1

Не уверен, что смогу обеспечить достаточный уровень подтверждающей документации, чтобы выиграть дискуссию по этому вопросу без дополнительной работы, которую я готов выдвинуть, но здесь идет речь. Посмотрите в Википедии для закрытого выражения формы. В последних двух разделах описывается, что решения в замкнутой форме необязательно требуются, поскольку численные вычисления обычно могут успешно использоваться для достижения решения, и в следующем разделе описывается, как некоторые математические программы пытаются генерировать решения в замкнутой форме из числовых значений. Решения в закрытом виде точны (вне пространства)

Чизпайп

5

Википедия хороша как ссылка. В этом случае оказывается, что вы, возможно, связали «выражение закрытой формы» с «номером закрытой формы». Они не имеют в виду одно и то же.

whuber

-2

Закрытая форма = закрытая (функциональная) форма

Закрыто означает, что больше ничего не может войти внутрь; то есть, нет альтернативы => только одно решение => только одна функция, которая может установить связь между результатом и предикторами.

Вивек Астванш
источник

3

Это также необычное использование термина. Не могли бы вы привести несколько примеров его использования в этом контексте? Я в основном удивлен, потому что часто слышат закрытую форму / нет закрытой формы относительно интегралов, которые на самом деле не имеют результата или предикторов.

Мэтт Краузе

Что означает «решение в закрытой форме»?

Ответы: