Что такое «частичное» в методах частичных наименьших квадратов?

Что означает термин «частичный» в моделировании структурных уравнений с частичной наименьших квадратов (PLSR) или частичных наименьших квадратов (PLS-SEM)?

Я хотел бы ответить на этот вопрос, во многом исходя из исторической перспективы , что довольно интересно. Герман Волд, который изобрел метод частичных наименьших квадратов (PLS) , не сразу начал использовать термин PLS (или даже упомянул термин частичные ). В начальный период (1966-1969 гг.) Он назвал этот подход NILES - сокращение термина и названия его первоначальной статьи на эту тему « Нелинейное оценивание с помощью итерационных процедур наименьших квадратов» , опубликованной в 1966 г.

Как мы видим, процедуры, которые в дальнейшем будут называться частичными, назывались итеративными , фокусируясь на итеративном характере процедуры оценки весов и скрытых переменных (LV). Термин «наименьшие квадраты» происходит от использования регрессии обычных наименьших квадратов (OLS) для оценки других неизвестных параметров модели (Wold, 1980). Кажется, что термин «частичный» имеет корни в процедурах NILES, в которых реализована «идея разбить параметры модели на подмножества, чтобы их можно было оценить по частям» (Sanchez, 2013, p. 216; выделено мое) ,

Первое использование термина PLS произошло в процедуре оценки нелинейных итеративных частичных наименьших квадратов (NIPALS) , публикация которой отмечает следующий период истории PLS - период моделирования NIPALS . 1970-е и 1980-е годы стали периодом мягкого моделирования , когда под влиянием подхода LISREL Карла Йорескога к SEM Вольд преобразует подход NIPALS в мягкое моделирование, которое, по сути, сформировало ядро ​​современного подхода PLS (термин PLS становится основным в конце 1970-х годов. ). 1990-е годы, следующий период в истории PLS, который Санчес (2013) называет периодом «разрыва», в значительной степени отмечен уменьшением его использования. К счастью, начиная с 2000-х годов ( период консолидации), PLS получил свое признание как очень популярный подход к анализу SEM, особенно в социальных науках.

ОБНОВЛЕНИЕ (в ответ на комментарий амебы):

• Возможно, формулировка Санчеса не идеальна в фразе, которую я привел. Я думаю, что «оценка по частям» относится к скрытым блокам переменных. Wold (1980) подробно описывает эту концепцию.
• Вы правы, что NIPALS изначально был разработан для PCA. Путаница связана с тем, что существуют как линейные, так и нелинейные методы. Я думаю, что Rosipal (2011) очень хорошо объясняет различия (по крайней мере, это лучшее объяснение, которое я видел до сих пор).

ОБНОВЛЕНИЕ 2 (дальнейшее уточнение):

В ответ на озабоченность, выраженную в ответе амебы, я хотел бы уточнить некоторые моменты. Мне кажется, что мы должны различать использование слова «частичный» между NIPALS и PLS. Это создает два отдельных вопроса о 1) значении «частичного» в NIPALS и 2) значении «частичного» в PLS (это первоначальный вопрос Phil2014). Хотя я не уверен насчет первого, я могу дать дополнительные разъяснения по поводу второго.

Согласно Wold, Sjöström и Eriksson (2001),

«Частичное» в PLS указывает, что это частичная регрессия, так как ...

Другими словами, «частичное» проистекает из того факта, что декомпозиция данных по алгоритму NIPALS для PLS может не включать в себя все компоненты , следовательно, «частичная». Я подозреваю, что та же самая причина относится к NIPALS в целом, если возможно использовать алгоритм на «частичных» данных. Это объяснило бы "P" в NIPALS.

С точки зрения использования слова «нелинейный» в определении NIPALS (не путайте с нелинейным PLS , представляющим нелинейный вариант подхода PLS!), Я думаю, что оно относится не к самому алгоритму , а к нелинейным моделям , которые могут быть проанализированы с использованием линейной регрессии на основе NIPALS.

ОБНОВЛЕНИЕ 3 (объяснение Германа Уолда):

Хотя статья Германа Уолда 1969 года, по-видимому, является самой ранней статьей о НИПАЛС, мне удалось найти еще одну из самых ранних работ по этой теме. Это документ Wold (1974), где «отец» PLS представляет свое обоснование использования слова «частичный» в определении NIPALS (стр. 71):

3.1.4. Оценка NIPALS: итеративный OLS. Если одна или несколько переменных модели являются скрытыми, отношения предикторов включают не только неизвестные параметры, но и неизвестные переменные, в результате чего задача оценки становится нелинейной. Как указано в 3.1 (iii), NIPALS решает эту проблему с помощью итерационной процедуры, скажем, с шагами s = 1, 2, ... Каждый шаг s включает в себя конечное число регрессий OLS, по одному для каждого отношения предиктора модели. Каждая такая регрессия дает прокси-оценки для подмножества неизвестных параметров и скрытых переменных (отсюда и название частичных наименьших квадратов), и эти прокси-оценки используются на следующем шаге процедуры для вычисления новых прокси-оценок.

Ссылки

Росипал Р. (2011). Нелинейные частичные наименьшие квадраты: обзор. В Лодхи Х. и Яманиши Й. (ред.), Хемоинформатика и Перспективы перспективного машинного обучения: сложные вычислительные методы и методы совместной работы , с. 169-189. ACCM, IGI Global. Получено с http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Санчес, Г. (2013). Моделирование пути PLS с R. Berkeley, CA: Trowchez Editions. Получено с http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Wold, H. (1974). Причинные потоки со скрытыми переменными: разделение путей в свете моделирования NIPALS. Европейский экономический обзор, 5 , 67-86. Северная Голландия Издательство.

Wold, H. (1980). Построение и оценка модели при недостаточности теоретических знаний: теория и применение частичных наименьших квадратов. В J. Kmenta и JB Ramsey (Eds.), Оценка эконометрических моделей , с. 47-74. Нью-Йорк: Академическая пресса. Получено с http://www.nber.org/chapters/c11693

Wold, S., Sjöström, M. & Eriksson, L. (2001). PLS-регрессия: основной инструмент хемометрики. Chemometrics and Intelligent Laboratory Systems, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Получено с http://www.libpls.net/publication/PLS_basic_2001.pdf

$X$$Y$

Однако исторически, как хорошо объясняет @Aleksandr (+1), PLS был представлен Уолдом, который использовал его алгоритм NIPALS для его реализации; NIPALS расшифровывается как «нелинейные итерированные частичные наименьшие квадраты», поэтому очевидно, что P в PLS только что получен из NIPALS.

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$

(Почему он назвал это "нелинейным", я все еще не понимаю.)

Этот термин вводит в заблуждение, потому что если он «частичный», то каждый алгоритм максимизации ожидания тоже «частичный» (на самом деле, NIPALS можно рассматривать как примитивную форму EM, см. Roweis 1998 ). Я думаю, что PLS является хорошим кандидатом на конкурс «Самый вводящий в заблуждение термин в машинном обучении». Увы, вряд ли это изменится, несмотря на усилия Уолда младшего (см. Комментарий @ Momo выше).