Если наилучшим линейным приближением (с использованием наименьших квадратов) моих точек данных является линия y=mx+by=mx+by=mx+b , как я могу рассчитать ошибку аппроксимации? Если я вычислю стандартное отклонение различий между наблюдениями и предсказаниями , могу ли я потом сказать, что...
Вопрос очень прост: почему, когда мы пытаемся приспособить модель к нашим данным, линейным или нелинейным, мы обычно пытаемся минимизировать сумму квадратов ошибок, чтобы получить нашу оценку для параметра модели? Почему бы не выбрать другую целевую функцию, чтобы минимизировать? Я понимаю, что по...
Когда мы делаем множественные регрессии и говорим, что смотрим на среднее изменение переменной для изменения переменной , сохраняя все остальные переменные постоянными, при каких значениях мы держим другие переменные постоянными? Их значит? Нуль? Любое значение?yyyxxx Я склонен думать, что это...
Помимо некоторых уникальных обстоятельств, когда мы абсолютно должны понимать условные средние отношения, в каких ситуациях исследователь должен выбрать OLS вместо квантильной регрессии? Я не хочу, чтобы ответ был «если нет смысла в понимании отношений хвоста», так как мы могли бы просто...
Рассмотрим регрессию гребня с дополнительным ограничением, требующим, чтобы имел единичную сумму квадратов (эквивалентно, единичную дисперсию); при необходимости можно предположить, что имеет единичную сумму квадратов:y^y^\hat{\mathbf y}yy\mathbf y...
На странице 204 в главе 4 «Распознавание образов и машинное обучение» Бишопа есть изображение, где я не понимаю, почему решение по методу наименьших квадратов дает плохие результаты: Предыдущий абзац был о том факте, что решениям наименьших квадратов не хватает устойчивости к выбросам, как вы...
Я знаю, как математически рассчитать PCA и SVD, и я знаю, что оба могут быть применены к регрессии линейных наименьших квадратов. Основным преимуществом SVD математически представляется то, что его можно применять к неквадратным матрицам. Оба сосредоточены на разложении матрицыПомимо упомянутого...
Я начну с моей регрессии OLS: где D - фиктивная переменная, оценки становятся отличными от нуля с низким значением p. Затем я предварительно провожу тест СБРОСА Рэмси и нахожу, что у меня есть некоторая неправильная оценка уравнения, поэтому я включаю квадрат x: y = β 0 + β 1 x 1 + β 2 x 2 1 + β 3...
Недавно я обнаружил, что в литературе по прикладной эконометрике, когда речь идет о проблемах выбора признаков, нередко выполняется LASSO с последующей регрессией OLS с использованием выбранных переменных. Мне было интересно, как мы можем квалифицировать обоснованность такой процедуры. Это вызовет...
Я прочитал это утверждение на одном старом истинном / ложном экзамене: Мы можем получить несколько локальных оптимальных решений, если решим задачу линейной регрессии путем минимизации суммы квадратов ошибок с использованием градиентного спуска. Решение: Неверно У меня вопрос, какая часть этого...
Из «Введения в статистическое обучение » Джеймса и др., Оценка перекрестной проверки (LOOCV) определяется как где .резюме( н )= 1NΣя = 1NMSEярезюме(N)знак равно1NΣязнак равно1NMSEя\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_iMSEя= ( уя- у^я)2MSEязнак равно(Yя-Y^я)2\text{MSE}_i =...
На основании нескольких статей, книг и статей, которые я прочитал, у меня сложилось впечатление, что рекомендуемый способ подбора распределения вероятностей для набора данных - использование оценки максимального правдоподобия (MLE). Тем не менее, как физик, более интуитивный способ состоит в том,...
Если имеет полный ранг, существует обратное к и мы получаем оценку наименьших квадратов: иХ Т Х β = ( Х Т Х ) - 1 х YXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Как мы можем интуитивно объяснить...
Я пытаюсь подогнать регрессию, чтобы объяснить количество убийств в каждом районе города. Хотя я знаю, что мои данные соответствуют распределению Пуассона, я попытался подобрать OLS следующим образом: л о г( у+ 1 ) = α + βИкс+ ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Затем я также...
Я видел этот список здесь и не мог поверить, что было так много способов решить наименьших квадратов. «Нормальные уравнения» на Википедии , казалось, довольно прямым α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat...
Мне было интересно, есть ли связь между и F-Test.R2R2R^2 Обычно и измеряет силу линейные отношения в регрессии.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} F-тест просто подтверждает гипотезу. Есть ли связь...
У меня есть вопрос об опущенном переменном смещении в логистической и линейной регрессии. Скажем, я опускаю некоторые переменные из модели линейной регрессии. Сделайте вид, что эти пропущенные переменные не связаны с переменными, которые я включил в мою модель. Эти пропущенные переменные не смещают...
Я новичок в этом, поэтому я надеюсь, что вы простите меня, если вопрос наивный. (Контекст: я изучаю эконометрику из книги Дэвидсона и Маккиннона "Эконометрическая теория и методы" , и они, кажется, не объясняют этого; я также посмотрел книгу по оптимизации Люенбергера, которая рассматривает...
Не уверен, что слово «нормализация» - это правильное слово, но я постараюсь сделать все возможное, чтобы проиллюстрировать то, что я пытаюсь спросить. Здесь используется оценка наименьших квадратов. Предположим, у вас есть y = β 0 + β 1 x 1y=β0+β1x1y=\beta_0+\beta_1x_1 , вы можете центрировать его...
Эта ссылка на Википедию перечисляет ряд методов для определения гетероскедастичности остатков МНК. Я хотел бы узнать, какой практический метод более эффективен в обнаружении областей, затронутых гетероскедастичностью. Например, здесь видно, что центральная область на графике OLS «Остаточные и...