Относится к общей методике оценки, которая выбирает значение параметра для минимизации квадрата разности между двумя величинами, такими как наблюдаемое значение переменной и ожидаемое значение этого наблюдения, обусловленного значением параметра. Гауссовские линейные модели подгоняются по методу наименьших квадратов, а метод наименьших квадратов - это идея, лежащая в основе использования среднеквадратичной ошибки (MSE) в качестве способа оценки оценки.
При каких обстоятельствах следует рассмотреть использование методов регуляризации (регрессия ребра, лассо или наименьших углов) вместо OLS? В случае, если это поможет вести дискуссию, мой главный интерес - повышение точности...
Для исследования моделирования я должен генерировать случайные переменные , которые показывают prefined (населения) корреляцию с существующей переменной .YYY Я посмотрел на Rпакеты copulaи CDVineкоторые могут производить случайные многомерные распределения с заданной структурой зависимостей. Однако...
Зачем использовать среднеквадратичную ошибку (RMSE) вместо средней абсолютной ошибки (MAE) ?? Здравствуй Я исследовал ошибку, сгенерированную в вычислениях - сначала я рассчитал ошибку как среднеквадратичную среднеквадратичную ошибку. Присмотревшись немного поближе, я вижу, что эффекты возведения в...
Я понимаю, что оценка регрессии гребня является ββ\beta который минимизирует остаточную сумму квадрата и штраф на размер ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[...
На этом сайте есть несколько потоков, обсуждающих, как определить, асимптотически ли нормально распределены остатки OLS . В этом превосходном ответе представлен другой способ оценки нормальности остатков с помощью R-кода . Это еще одно обсуждение практической разницы между стандартизированными и...
Достоверно авторитетные источники утверждают, что зависимая переменная должна быть нормально распределена: Предположения модели: нормально распределен, ошибки нормально распределены, и независимы, фиксирован и постоянная дисперсия .e i ∼ N ( 0 , σ 2 ) X σ 2YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim...
В чем основное различие между оценкой максимального правдоподобия (MLE) и оценкой наименьших квадратов (LSE)? Почему мы не можем использовать MLE для прогнозирования значений в линейной регрессии и наоборот?Yyy Любая помощь по этой теме будет принята с...
Я обычно слышу о "обычных наименьших квадратах". Это наиболее широко используемый алгоритм, используемый для линейной регрессии? Есть ли причины использовать...
У меня возникли некоторые проблемы с выводом решения для регрессии гребня. Я знаю регрессионное решение без условия регуляризации: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Но после добавления термина L2 к функции стоимости, получается решениеλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2...
Почему де-факто стандартная сигмоидальная функция так популярна в (не глубоких) нейронных сетях и логистической регрессии?11 + е- х11+e−x\frac{1}{1+e^{-x}} Почему бы нам не использовать многие из других производных функций с более быстрым временем вычисления или более медленным затуханием (так что...
Когда мы проводим линейную регрессию для подбора группы точек данных , классический подход минимизирует квадратичную ошибку. Я уже давно озадачен вопросом, будет ли минимизация квадратичной ошибки таким же результатом, как минимизация абсолютной ошибки ? Если нет, то почему минимизировать квадрат...
Я пытаюсь запустить регрессию OLS: DV: изменение веса за год (начальный вес - конечный вес) IV: Независимо от того вы занимаетесь спортом. Тем не менее, кажется разумным, что более тяжелые люди будут терять больше веса на единицу нагрузки, чем более худые люди. Таким образом, я хотел включить...
Кто-нибудь может порекомендовать хорошее изложение теории за частичной регрессией наименьших квадратов (доступно онлайн) для тех, кто понимает SVD и PCA? Я просмотрел многие источники в Интернете и не нашел ничего, что имело бы правильное сочетание строгости и доступности. zi=Xφizi=Xφiz_i=X...
Задний план Предположим, у нас есть модель Обыкновенных наименьших квадратов, в которой у нас есть коэффициентов в нашей регрессионной модели, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} где - вектор коэффициентов, - матрица проектирования, определяемая...
Я всегда использую lm()в R для выполнения линейной регрессии yyy на xxx . Эта функция возвращает коэффициент ββ\beta такой, что y=βx.y=βx.y = \beta x. Сегодня я узнал об общих наименьших квадратах, и эту princomp()функцию (анализ основных компонентов, PCA) можно использовать для ее выполнения. Это...
Я только что наткнулся на эту статью , в которой описывается, как вычислить повторяемость (или надежность, или внутриклассовую корреляцию) измерения с помощью моделирования смешанных эффектов. Код R будет: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc =...
Я хотел бы понять, почему в рамках модели OLS RSS (остаточная сумма квадратов) распределяется ( - это число параметров в модели, - количество наблюдений).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Я прошу прощения за то, что задал такой простой вопрос, но мне кажется, что я не могу найти ответ онлайн...
Как связаны PCA, LDA, CCA и PLS? Все они кажутся «спектральными» и линейными алгебраическими и очень хорошо понятными (скажем, 50+ лет теории, построенной вокруг них). Они используются для самых разных вещей (PCA для уменьшения размерности, LDA для классификации, PLS для регрессии), но все же они...
Я новичок в машинном обучении и пытаюсь научиться этому сам. Недавно я читал некоторые конспекты лекций и у меня возник основной вопрос. Слайд 13 говорит, что «Оценка по методу наименьших квадратов такая же, как и оценка максимального правдоподобия по гауссовой модели». Кажется, это что-то простое,...
Если наилучшим линейным приближением (с использованием наименьших квадратов) моих точек данных является линия y=mx+by=mx+by=mx+b , как я могу рассчитать ошибку аппроксимации? Если я вычислю стандартное отклонение различий между наблюдениями и предсказаниями , могу ли я потом сказать, что...