Что обычного, в обычных наименьших квадратах?

Мой друг недавно спросил, что же такого обычного, в отношении наименьших квадратов. Похоже, мы ни к чему не привели в обсуждении. Мы оба согласились, что OLS является частным случаем линейной модели, она имеет много применений, хорошо известна и является частным случаем многих других моделей. Но действительно ли это все?

Поэтому я хотел бы знать:

• Откуда на самом деле пришло название?
• Кто первым использовал это имя?

Наименьшие квадраты в часто называют обычными наименьшими квадратами (OLS), потому что это была первая в истории статистическая процедура, разработанная примерно в 1800 году, см. Историю . Это эквивалентно минимизации нормы : . Впоследствии взвешенные наименьшие квадраты, минимизация других норм (например, ), обобщенные наименьшие квадраты , оценка М , двумерная минимизация (например, регрессия Деминга), непараметрическая регрессия, регрессия максимального правдоподобия, регуляризация (например, Тихонов, Ридж) и были разработаны другие методы обратной задачи и множество других инструментов. До сих пор существует спор о том, кто первым применил его: Гаусс или Лежандр (см.$y$$L_2$$||Y-f(X)||_2$$L_1$ссылка ). Термин «обычный» (подразумевающий в ), очевидно, был добавлен к «наименьшим квадратам» только после того, как возникло так много альтернативных методов, что (все еще большинство) популярных OLS необходимо было дифференцировать от множества других минимизаций, которые стали доступны. Когда происходит точное добавление обычных наименьших квадратов , будет трудно отследить, поскольку это произошло, когда это стало естественным или очевидным.$y$$+$