Локальное линейное вложение (LLE) устраняет необходимость оценивать расстояние между удаленными объектами и восстанавливает глобальную нелинейную структуру с помощью локальных линейных подгонок. LLE является выгодным, потому что в нем нет таких параметров, как скорость обучения или критерии конвергенции. LLE также хорошо масштабируется с внутренней размерностью Y . Целевая функция для LLE:
ζ( Y ) = ( Y - W Y )2= Y⊤( Я - ш )⊤( I - W ) Y
весовой матрицыW элементоввеся ж для объектовя иJ устанавливаются в нольеслиJ не является ближайшим соседомя ,противном случае, весов для K- ближайшие соседи объектая определяются по методу наименьших квадратов
U = G β
где зависимая переменнаяявляетсявектором единиц,UК× 1грамм является матрицей Грама для всех ближайших соседей объекта , а - вектором весов которые следуют ограничениям суммы на единицу. Пусть - симметричная положительная полуопределенная матрица расстояний для всех пар K-ближайших соседей -мерного объекта . Можно показать, что равен двухцентровой матрице расстояний с элементами
К× КяβK×1DK×KpxiGττlm=−12(d2lm−1K∑ld2lm−1K∑md2lm+∑l∑md2lm).
К β К × 1 = ( т ⊤ т ) К × K - 1 т ⊤ U К × 1 , β я
Коэффициенты регрессии определяются численно с использованием
и проверены чтобы подтвердить, что они сводятся к единству. Значения встроены в ряд из на различных позициях столбцов , соответствующих K-ближайших соседей объектаKβK×1=(τ⊤τ)K×K−1τ⊤UK×1,
βiWi, а также транспонировать элементы. Это повторяется для каждого го объекта в наборе данных. Следует отметить, что если число ближайших соседей слишком мало, то может быть разреженным, что затрудняет собственный анализ. Было обнаружено, что ближайших соседей приводят к матрицам которые не содержат патологий во время собственного анализа. Целевая функция минимизируется путем нахождения наименьших ненулевых собственных значений
Сокращенная форма представленаiKWK=9W(I−W)⊤(I−W)E=ΛDE.
XY=EE n × 2 Λ где имеет размеры основанные на двух нижних собственных значениях . En×2Λ