Есть ли математическая связь между:
- косинусное сходство двух векторов и , иA B
- косинусное сходство для и , неравномерно масштабированное с помощью заданной матрицы ? Здесь - заданная диагональная матрица с неравными элементами на диагонали.A BМ
Я попытался просмотреть вычисления, но не смог найти простую / интересную ссылку (выражение). Интересно, есть ли такой?
Например, углы не сохраняются при неравномерном масштабировании, но какова связь между исходными углами и углами после неравномерного масштабирования? Что можно сказать о связи между набором векторов S1 и другим набором векторов S2 - где S2 получается неравномерным масштабированием S1?
linear-algebra
cosine-similarity
TURDUS-Мерула
источник
источник
Ответы:
Поскольку является довольно общим, и изменение в косинусном подобии зависит от конкретных и и их отношения к , определенная формула невозможна. Однако существуют практически вычисляемые пределы того, насколько может измениться косинусное сходство . Их можно найти, выдвинув угол между и учитывая, что косинусное сходство между и является заданным значением, скажем, (где - угол между и ). Ответ говорит нам, сколько под любым угломA B M M A M B A B cos ( 2 ϕ ) 2 ϕ A B 2 ϕ MM A B M MA MB A B cos(2ϕ) 2ϕ A B 2ϕ возможно , может быть согнут преобразованием .M
Расчеты грозят быть грязными. Некоторые умные варианты обозначений, а также некоторые предварительные упрощения сокращают усилия. Оказывается, что решение в двух измерениях раскрывает все, что нам нужно знать. Это поддающаяся решению проблема, зависящая только от одной реальной переменной , которая легко решается с использованием методов исчисления. Простой геометрический аргумент распространяет это решение на любое количество измерений .нθ n
Математические вступительные
По определению, косинус угла между любыми двумя векторами и получается путем нормализации их к единице длины и взятия их произведения. Таким образом,BA B
и, написав , косинус угла между изображениями и при преобразовании равенA B MΣ=M′M A B M
Обратите внимание , что только имеет значение в анализе,Σ а не себя. Поэтому мы можем использовать разложение по сингулярным числам (SVD) для чтобы упростить задачу. Напомним, что это выражает как произведение (справа налево) ортогональной матрицы , диагональной матрицы и другой ортогональной матрицы :M M V ′ D UM M M V′ D U
Другими словами, существует основа привилегированных векторов (столбцы ), в которых действует путем изменения масштаба каждого отдельно с помощью диагональной записи в (которую я назову ) и затем применение поворота (или анти-вращения) к результату. Это окончательное вращение не изменит никаких длин или углов и, следовательно, не должно влиять на . Вы можете увидеть это формально с расчетом У М е я я й Д д я U Σe1,…,en V M ei ith D di U Σ
Следовательно, для изучения мы можем свободно заменить любой другой матрицей, которая дает те же значения в . Заказав так что уменьшение размера (и предполагая не тождественно равна нулю), выбор хороший из являетсяM ( 1 ) e i d i M MΣ M (1) ei di M M
Диагональные элементы имеют вид(1/d1)D
В частности, влияние (в исходном или измененном виде) на все углы полностью определяется тем фактом, чтоM
Анализ частного случая
Пусть . Поскольку изменение длины векторов не меняет угол между ними, мы можем предположить, что и являются единичными векторами. В плоскости все такие векторы могут быть обозначены углом, который они составляют с , что позволяет нам писатьA B e 1n=2 A B e1
Следовательно
(Смотрите рисунок ниже.)
Применение очень просто: оно фиксирует первые координаты и и умножает их вторые координаты на . Поэтому угол от к являетсяA B λ 2 M A M BM A B λ2 MA MB
Поскольку - непрерывная функция, эта разность углов является непрерывной функцией . На самом деле, это дифференцируемо. Это позволяет нам находить крайние углы, проверяя нули производной . Эту производную легко вычислить: это соотношение тригонометрических функций. Нули могут встречаться только среди нулей его числителя, поэтому давайте не будем пытаться вычислить знаменатель. Мы получаемθ f ′ ( θ )M θ f′(θ)
случаи , и легко понять: они соответствуют ситуациям, когда имеет пониженный ранг (и таким образом сдавливает все векторы на линию); где - кратное единичной матрицы; и где и параллельны (откуда угол между ними не может измениться, независимо от ). Случай исключается условием .λ 2 = 1 ϕ = 0 M M A B θ λ 2 = - 1 λ 2 ≥ 0λ2=0 λ2=1 ϕ=0 M M A B θ λ2=−1 λ2≥0
Помимо этих особых случаев, нули встречаются только там, где : то есть или . Это означает, что линия, определяемая делит пополам угол . Теперь мы знаем, что крайние значения угла между и должны лежать среди значений , поэтому давайте вычислим их:θ = 0 θ = π / 2 e 1 A B M A M B f ( θ )sin(2θ)=0 θ=0 θ=π/2 e1 AB MA MB f(θ)
Соответствующие косинусы
а также
Часто достаточно понять, как искажает прямые углы. В этом случае , что приводит к , которую вы можете включить в предыдущие формулы.M 2ϕ=π/2 tan(ϕ)=cot(ϕ)=1
Обратите внимание, что чем меньше становится , тем более экстремальными становятся эти углы и тем больше искажение.λ2
На этом рисунке показаны четыре конфигурации векторов и разделенных углом . Единичный круг и его эллиптическое изображение под заштрихованы для справки (с равномерным изменением масштаба действия чтобы сделать ). На рисунке заголовки указывают значение , среднюю точку и . Ближайшие любые такие и могут появиться при преобразовании с помощью - конфигурация, подобная конфигурации слева сA B 2ϕ=π/3 M M λ1=1 θ A B A B M θ=0 , Наибольшее расстояние между ними может быть конфигурация, подобная приведенной справа с . Показаны две промежуточные возможности.θ=π/2
Решение для всех размеров
Мы видели, как действует, расширяя каждое измерение на коэффициент . Это изменит единичную сферу на эллипсоид. В определения его главных осей. В расстояние от начала координат, вдоль этих осей, к эллипсоиду. Следовательно, самое маленькое - это самое короткое расстояние (в любом направлении) от начала координат до эллипсоида, а самое большое - это самое дальнее расстояние (в любом направлении) от начала координат до эллипсоида.M i λi {A|A′A=1} ei λi λn λ1
В более высоких измерениях , и являются частью двумерного подпространства. отображает единичную окружность в этом подпространстве на пересечение эллипсоида с плоскостью, содержащей и . Это пересечение, являющееся линейным искажением круга, является эллипсом. Очевидно, что самое дальнее расстояние до этого эллипса не больше, чем а самое короткое расстояние не меньше, чем .n>2 A B M MA MB λ1=1 λn
Как мы наблюдали в конце предыдущего раздела, наиболее экстремальная возможность - это когда и расположены в плоскости, содержащей два элемента для которых отношение соответствующих настолько мало, насколько это возможно. Это произойдет в плоскости . У нас уже есть решение для этого случая.A B ei λi e1,en
Выводы
Крайности косинусного сходства, достижимые путем применения к двум векторам, имеющим косинусное сходство , определяются формулами и . Они достигаются путем расположения и под равными углами к направлению, в котором максимально удлиняет любой вектор (например, направление ), и разделяя их в направлении, в котором минимально удлиняет любой вектор ( например, направление ).M cos(2ϕ) (2) (3) A B Σ=M′M e1 Σ en
Эти крайности могут быть вычислены в терминах СВД из .M
источник
Вы, вероятно, заинтересованы в:
Вы можете по диагонали (или, как вы это называете, PCA), что говорит вам, что подобие при преобразовании ведет себя, проецируя на ваши главные компоненты, а затем Расчет сходства в этом новом пространстве. Чтобы уточнить это немного подробнее, позвольте основным компонентам быть с собственными значениями . затемMTM=UΣUT A,B M A,B ui λi
что дает вам:
Обратите внимание, что здесь происходит масштабирование: растягивается / сжимается. Когда являются единичными векторами, и если каждый , тогда соответствует повороту, и вы получаете: , что эквивалентно тому, что внутренние произведения инвариантны относительно вращений. В общем, угол остается тем же, когда является конформным преобразованием, которое в этом случае требует, чтобы обратимо, и полярное разложение удовлетворяет с , то есть .λi A,B λi=1 M sim(MA,MB)=sim(A,B) M M M M=OP P=aI MTM=a2I
источник