Чтобы решить проблемы выбора модели, ряд методов (LASSO, гребневая регрессия и т. Д.) Будут сжимать коэффициенты переменных-предикторов к нулю. Я ищу интуитивное объяснение того, почему это улучшает способность к прогнозированию. Если истинное влияние переменной на самом деле было очень велико,...
Я много читал о PCA, включая различные учебники и вопросы (такие как этот , этот , этот и этот ). Геометрическая проблема, которую пытается оптимизировать PCA, мне ясна: PCA пытается найти первый главный компонент, сводя к минимуму ошибку реконструкции (проекции), которая одновременно максимизирует...
Я читал о разложении сингулярных значений (SVD). Почти во всех учебниках упоминается, что она разбивает матрицу на три матрицы с заданной спецификацией. Но какова интуиция, лежащая в основе разделения матрицы в такой форме? PCA и другие алгоритмы уменьшения размерности интуитивно понятны в том...
Как бы вы объяснили iid (независимый и одинаково распространяемый) нетехническим
Взято из Практической статистики для медицинских исследований, где Дуглас Альтман пишет на странице 285: ... для любых двух величин X и Y X будет коррелировать с XY. Действительно, даже если X и Y являются выборками случайных чисел, мы ожидаем, что корреляция X и XY будет 0,7 Я попробовал это в R,...
Я узнал об интуиции, лежащей в основе дивергенции KL, о том, насколько функция распределения моделей отличается от теоретического / истинного распределения данных. Источник Читаю продолжает говорить о том , что интуитивное понимание «расстояний» между этими двумя распределениями является полезным,...
Я полностью слепой и пришел из программирования. Я пытаюсь научиться машинному обучению, и для этого мне сначала нужно узнать о линейной регрессии. Все объяснения в Интернете, которые я нахожу об этом предмете, наносят данные в первую очередь. Я ищу практическое объяснение линейной регрессии,...
Пример Стейна показывает, что оценка максимального правдоподобия nnn нормально распределенных переменных со средними значениями μ1,…,μnμ1,…,μn\mu_1,\ldots,\mu_n и дисперсиями 111 недопустима (при функции квадрата потерь) тогда и только тогда, когда n≥3n≥3n\ge 3 . Для ясного доказательства см....
Я вижу, что понятие «взаимозаменяемости» используется в разных контекстах (например, в байесовских моделях), но я никогда не понимал этот термин очень хорошо. Что означает эта концепция? При каких обстоятельствах применяется эта концепция и почему?...
Из Википедии: Предположим, вы участвуете в игровом шоу, и у вас есть выбор из трех дверей: за одной дверью находится машина; позади остальных коз. Вы выбираете дверь, скажем, № 1, и хозяин, который знает, что за дверями, открывает другую дверь, скажем, № 3, у которой есть коза. Затем он говорит...
Предположим, что ИксXX - случайная величина с pdf еИкс( х )fX(x)f_X(x) . Тогда случайная величина Y= X2Y=X2Y=X^2 имеет pdf fY(y)={12y√(fX(y√)+fX(−y√))0y≥0y<0fY(y)={12y(fX(y)+fX(−y))y≥00y<0f_Y(y)=\begin{cases}\frac{1}{2\sqrt{y}}\left(f_X(\sqrt{y})+f_X(-\sqrt{y})\right) & y \ge 0 \\ 0 & y \lt...
Очень простая версия центральной ограниченной теоремы, приведенная ниже есть CLT Линдеберга – Леви. Я не понимаю, почему на левой стороне руки есть . А Ляпуновский CLT говорит но почему не \ sqrt {s_n} ? Кто-нибудь скажет мне, что это за факторы, такие как \ sqrt {n} и \ frac {1} {s_n} ? как мы...
Недавно я узнал о принципе вероятностных рассуждений, называемом « объяснение прочь », и я пытаюсь понять его интуицию. Позвольте мне создать сценарий. Пусть AAA будет событием землетрясения. Пусть событие BBB будет событием, когда веселый зеленый гигант прогуливается по городу. Позвольте CCC быть...
Это сообщение в статье Reuter от 25.02.2019 в настоящее время во всех новостях: Свидетельство того, что искусственное глобальное потепление поражает «золотой стандарт» [Ученые] сказали, что уверенность в том, что человеческая деятельность поднимает тепло на поверхности Земли, достигла уровня «пять...
В чем разница между конечной и бесконечной дисперсией? Мои знания статистики довольно просты; Википедия / Google здесь не сильно
Обобщенными аддитивными моделями являются те, где Y= α + f1( х1) + f2( х2) + еяy=α+f1(x1)+f2(x2)+ei y = \alpha + f_1(x_1) + f_2(x_2) + e_i например. функции гладкие и должны быть оценены. Обычно по штрафным сплайнам. MGCV - это пакет в R, который делает это, и автор (Саймон Вуд) пишет книгу о своем...
Формула для условной вероятности от AA\text{A} происходящее при условии , что BB\text{B} произошло то: P(A | B)=P(A∩B)P(B).P(A | B)=P(A∩B)P(B). P\left(\text{A}~\middle|~\text{B}\right)=\frac{P\left(\text{A} \cap \text{B}\right)}{P\left(\text{B}\right)}. Мой учебник объясняет интуицию за этим в...
Предположим, у нас есть случайная величина . Если был истинным параметром, функция правдоподобия должна быть максимизирована, а производная равна нулю. Это основной принцип оценки максимального правдоподобия.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Насколько я понимаю, информация о Фишере...
Я пытаюсь понять статью о прогнозировании электрической нагрузки, но я борюсь с концепциями внутри, особенно с моделью SARIMAX . Эта модель используется для прогнозирования нагрузки и использует многие статистические понятия, которые я не понимаю (я студент старших курсов по информатике - вы можете...
Цитирование большого ответа Гун в Предположительно, исследователь однажды обратился к Фишеру с «незначительными» результатами, спросив его, что он должен делать, и Фишер сказал: «Иди и получи больше данных». С точки зрения Неймана-Пирсона, это явное хакерство, но есть ли смысл в подходе Фишера,...