Получение общей (в пределах класса + между классами) матрицы рассеяния

14

Я возился с методами PCA и LDA, и я застрял в какой-то момент, у меня такое ощущение, что это так просто, что я не вижу этого.

Матрицы рассеяния внутри класса ( ) и между классами ( S B ) определяются как:SWSB

SW=i=1Ct=1N(xtiμi)(xtiμi)T

SB=i=1CN(μiμ)(μiμ)T

Общая матрица рассеяния имеет вид:ST

ST=i=1Ct=1N(xtiμ)(xtiμ)T=SW+SB

где C - количество классов, а N - количество выборок, - выборки, μ i - среднее значение i класса, μ - общее среднее значение.xμiμ

Пытаясь вывести я пришел к точке, где у меня было:ST

(xμi)(μiμ)T+(μiμ)(xμi)T

как термин. Это должно быть ноль, но почему?


В самом деле:

ST=i=1Ct=1N(xtiμ)(xtiμ)T=i=1Ct=1N(xtiμi+μiμ)(xtiμi+μiμ)T=SW+SB+i=1Ct=1N[(xtiμi)(μiμ)T+(μiμ)(xtiμi)T]
nimcap
источник
2
The answer is that you are summing the deviations of values around their mean and that sum is zero. But what, precisely, are x, m, and mi? How are m and mi related to μ and μi? The quality of answers will depend on how accurately we guess but you're forcing us to do an awful lot of guessing!
whuber
@whuber: You are totally right, I revised my question.
nimcap

Ответы:

8

If you assume

1Nt=1Nxti=μi

Then

i=1Ct=1N(xtiμi)(μiμ)T=i=1C(t=1N(xtiμi))(μiμ)T=0

and formula holds. You deal with the second term in the similar way.

mpiktas
источник
2
(+1) The second term, being the transpose of the first, must also be zero :-).
whuber
@whuber, yes, that too :)
mpiktas
Hi,i don't get why the assumption holds?Can someone explain that?
Mvkt
1
@Mvkt It is not so much an assumption as the definition of μi I suppose. That is to say: μi is the mean of the observations in group i. I expect the answer uses 'assume' because the OP doesn't explain the notation, so we have to guess that the group mean is meant by μi.
Vincent