Статистика и большие данные

9
Если я хочу с вероятностью 95%, что менее 1% объектов неисправны, сколько образцов мне нужно?

Мне нужно убедиться, что моя карта сайта XML содержит менее мусора (неработающие ссылки). Список URL исчисляется сотнями тысяч, и даже если бы можно было проверить их все 1 на 1, я бы предпочел этого не делать по многим причинам:1 %1%1\% 1 - Saved bandwidth 2 - Faster traffic for real clients 3 -...

9
Адаптивный ГАМ сглаживает в мгКв

Книга Саймона Вуда о GAM и его связанный пакет R mgcv являются очень подробными и информативными, когда речь идет о теории GAM и подгонке моделей к реальным и смоделированным данным. Для 1D-сглаживания действительно не о чем беспокоиться, за исключением решения о том, реализовывать ли циклические и...

9
Почему байесовский вероятный интервал в этой полиномиальной регрессии смещен, тогда как доверительный интервал правильный?

Рассмотрим график ниже, на котором я смоделировал данные следующим образом. Мы смотрим на двоичный результат для которого истинная вероятность быть 1 указана черной линией. Функциональная связь между ковариатой и является полиномом 3-го порядка с логистической связью (поэтому она является...

9
Обнаружены высокоразмерные, коррелированные данные и основные особенности / ковариаты; тестирование нескольких гипотез?

У меня есть набор данных с около 5000 часто коррелированных признаков / ковариат и двоичным ответом. Данные были переданы мне, я не собирал их. Я использую Лассо и повышение градиента для построения моделей. Я использую повторную вложенную перекрестную проверку. Я сообщаю о самых больших...

9
Дисперсионный член в разностной декомпозиции линейной регрессии

В «Элементах статистического обучения» выражение для разложения смещения дисперсии линейной модели дается как где - фактическая целевая функция, - дисперсия случайной ошибки в модели и - линейная оценка функции .F ( х 0 ) σ 2 ε у = F ( х ) + εЕr r ( x0) = σ2ε+ E[ ф( х0) - Eе^( х0) ]2+ | | ч ( х0) |...

9
Усиленное обучение в нестационарной среде [закрыто]

Закрыто . Этот вопрос должен быть более сфокусированным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он был сосредоточен только на одной проблеме, отредактировав этот пост . Закрыто 11 дней назад . В1: Существуют ли распространенные или...

9
Можно ли разложить подогнанные остатки на отклонения и отклонения после подгонки линейной модели?

Я хотел бы классифицировать точки данных как нуждающиеся в более сложной модели или не требующие более сложной модели. Мое текущее мышление состоит в том, чтобы подогнать все данные к простой линейной модели и наблюдать размер остатков, чтобы сделать эту классификацию. Затем я немного прочитал о...

9
Имеет ли

Имеет ли подразумевает независимость X и Y ?Cov(f(X),Y)=0∀f(.)Cov(f(X),Y)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)XXXYYY Я знаком только со следующим определением независимости между и Y .XXXYYY fx,y(x,y)=fx(x)fy(y)fx,y(x,y)=fx(x)fy(y) f_{x,y}(x,y) = f_x(x)f_y(y)...

9
Помогите интерпретировать данные подсчета GLMM, используя lme4 glmer и glmer.nb - Отрицательный бином по Пуассону

У меня есть несколько вопросов, касающихся спецификации и интерпретации GLMM. 3 вопроса, безусловно, являются статистическими, а 2 - более конкретно о R. Я пишу здесь, потому что, в конечном счете, я думаю, что проблема заключается в интерпретации результатов GLMM. В настоящее время я пытаюсь...

9
Является ли свойство инвариантности оценки ML бессмысленным с точки зрения Байеса?

Каселла и Бергер утверждают свойство инвариантности оценки ML следующим образом: Тем не менее, мне кажется, что они определяют «вероятность» совершенно случайным и бессмысленным образом:ηη\eta Если я применяю основные правила теории вероятностей к простому случаю, когда , я получаю следующее: L ( η...

9
Что выше, или

Таким образом, у меня был тест вероятности, и я не мог действительно ответить на этот вопрос. Он просто спросил что-то вроде этого: «Учитывая, что является случайной величиной, 0 , используйте правильное неравенство, чтобы доказать, что выше или равно, E (X ^ 2) ^ 3 или E (X ^ 3) ^ 2...

9
Ожидание квадратного корня суммы независимых квадратов равномерных случайных величин

Пусть - независимые и одинаково распределенные стандартные однородные случайные величины.X1,…,Xn∼U(0,1)X1,…,Xn∼U(0,1)X_1,\dots,X_n \sim U(0,1) Let Yn=∑inX2iI seek: E[Yn−−√]Let Yn=∑inXi2I seek: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big]...

9
Отображение является стандартным Коши, когда является стандартным Коши

Если , найдите распределение .X∼C(0,1)X∼C(0,1)X\sim\mathcal C(0,1)Y=2X1−X2Y=2X1−X2Y=\frac{2X}{1-X^2} Мы имеемFY(y)=Pr(Y≤y)FY(y)=Pr(Y≤y)F_Y(y)=\mathrm{Pr}(Y\le y) =Pr(2X1−X2≤y)=Pr(2X1−X2≤y)\qquad\qquad\qquad=\mathrm{Pr}\left(\frac{2X}{1-X^2}\le y\right)...

9
Почему мои шаги становятся меньше при использовании фиксированного размера шага при градиентном спуске?

Предположим, что мы делаем игрушечный пример с градиентом приличия, минимизируя квадратичную функцию , используя фиксированный размер шага α = 0,03 . ( A = [ 10 , 2 ; 2 , 3 ] )ИксTхxTAxx^TAxα = 0,03α=0.03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] Если мы построим трассировку на...

9
Что делать с корреляцией случайных эффектов, равной 1 или -1?

Нередко случается, когда имеет дело со сложными максимальными смешанными моделями (оценка всех возможных случайных эффектов для данных и модели), это идеальная (+1 или -1) или почти идеальная корреляция между некоторыми случайными эффектами. В целях обсуждения давайте рассмотрим следующую модель и...

9
Гамильтониан Монте-Карло: как понять предложение Метрополиса-Хастинга?

Я пытаюсь понять внутреннюю работу гамильтониана Монте-Карло (HMC), но не могу полностью понять ту часть, когда мы заменяем детерминистическую интеграцию времени предложением Метрополиса-Хастинга. Я читаю замечательную вводную статью Майкла Бетанкура « Концептуальное введение в гамильтониан...

9
Обзор алгоритмов обучения по усилению

В настоящее время я ищу обзор алгоритмов обучения подкреплению и, возможно, их классификацию. Но рядом с Sarsa и Q-Learning + Deep Q-Learning я не могу найти ни одного популярного алгоритма. Википедия дает мне обзор различных общих методов обучения с подкреплением, но нет ссылок на различные...

9
Каковы среднее значение и дисперсия многовариантной нормали с 0 цензурой?

Пусть находится в . Каковы среднее значение и ковариационная матрица (при этом max вычисляется поэлементно)?Z∼N(μ,Σ)Z∼N(μ,Σ)Z \sim \mathcal N(\mu, \Sigma)RdRd\mathbb R^dZ+=max(0,Z)Z+=max(0,Z)Z_+ = \max(0, Z) Это происходит, например, потому что, если мы используем функцию активации ReLU внутри...