Примечание. = сумма квадратов, = сумма квадратов ошибок и = регрессионная сумма квадратов. Уравнение в названии часто записывается как:
Довольно простой вопрос, но я ищу интуитивное объяснение. Интуитивно, мне кажется, что будет иметь больше смысла. Например, предположим, что точка имеет соответствующее значение y и \ hat y_i = 3 , где \ hat y_i - соответствующая точка на линии регрессии. Также предположим, что среднее значение y для набора данных равно \ bar y = 0 . Тогда для этой конкретной точки i SST = (5-0) ^ 2 = 5 ^ 2 = 25 , а SSE = (5-3) ^ 2 = 2 ^ 2 = 4 и SSR = (3-0) ^ 2 = 3 ^ 2 = 9 . Очевидно, 9 + 4 <25 . Разве этот результат не будет распространяться на весь набор данных? Я не понимаюг я = 3 у я ˉ у = 0 S S Т = ( 5 - 0 ) 2 = 5 2 = 25 S S Е = ( 5 - 3 ) 2 = 2 2 = 4 S S
источник
Ответы:
Сложение и вычитание дает Итак, нам нужно показать, что∑ n i = 1
На самом деле, я думаю , что (а) легче показать в матричной форме для общей множественной регрессии которых единичный случай переменного является частным случаем: А (б), производная функции критерия МНК относительно постоянной (! Таквам нужен в регрессии для этогочтобы быть правдой), иначе нормальное уравнение , является ∂SSR
источник
(2) Geometric intuition
Please see the first few pictures here (especially the third): https://sites.google.com/site/modernprogramevaluation/variance-and-bias
Some of the total variation in the data (distance from datapoint toY¯ ) is captured by the regression line (the distance from the regression line to Y¯ ) and error (distance from the point to the regression line). There's not room left for SST to be greater than SSE+SSR .
(3) The problem with your illustration
You can't look at SSE and SSR in a pointwise fashion. For a particular point, the residual may be large, so that there is more error than explanatory power from X. However, for other points, the residual will be small, so that the regression line explains a lot of the variability. They will balance out and ultimatelySST=SSR+SSE . Of course this is not rigorous, but you can find proofs like the above.
Also notice that regression will not be defined for one point:b1=∑(Xi−X¯)(Yi−Y¯)∑(Xi−X¯)2 , and you can see that the denominator will be zero, making estimation undefined.
Hope this helps.
--Ryan M.
источник
When an intercept is included in linear regression(sum of residuals is zero),SST=SSE+SSR .
proveSST====∑i=1n(yi−y¯)2∑i=1n(yi−y^i+y^i−y¯)2∑i=1n(yi−y^i)2+2∑i=1n(yi−y^i)(y^i−y¯)+∑i=1n(y^i−y¯)2SSE+SSR+2∑i=1n(yi−y^i)(y^i−y¯)
Just need to prove last part is equal to 0:
∑i=1n(yi−y^i)(y^i−y¯)==∑i=1n(yi−β0−β1xi)(β0+β1xi−y¯)(β0−y¯)∑i=1n(yi−β0−β1xi)+β1∑i=1n(yi−β0−β1xi)xi
In Least squares regression, the sum of the squares of the errors is minimized.
SSE=∑i=1n(ei)2=∑i=1n(yi−yi^)2=∑i=1n(yi−β0−β1xi)2
Take the partial derivative of SSE with respect to β0 and setting it to zero.
∂SSE∂β0=∑i=1n2(yi−β0−β1xi)1=0
So
∑i=1n(yi−β0−β1xi)1=0
Take the partial derivative of SSE with respect to β1 and setting it to zero.
∂SSE∂β1=∑i=1n2(yi−β0−β1xi)1xi=0
So
∑i=1n(yi−β0−β1xi)1xi=0
Hence,
∑i=1n(yi−y^i)(y^i−y¯)=(β0−y¯)∑i=1n(yi−β0−β1xi)+β1∑i=1n(yi−β0−β1xi)xi=0
SST=SSE+SSR+2∑i=1n(yi−y^i)(y^i−y¯)=SSE+SSR
источник
This is just the Pythagorean theorem!
источник