Статистика и большие данные

9
Имитировать переменную Бернулли с вероятностью

Может кто-нибудь сказать мне, как смоделировать , где , используя подбрасывание монеты (столько раз, сколько вам нужно) с ?Bernoulli(ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right)a,b∈Na,b∈Na,b\in \mathbb{N}P(H)=pP(H)=pP(H)=p Я думал об использовании выборки отклонения, но не мог прибить...

9
Как улучшить время выполнения для импутации данных R MICE

Мой вопрос вкратце: есть ли способы улучшить время работы R MICE (вменение данных)? Я работаю с набором данных (30 переменных, 1,3 миллиона строк), который содержит (совершенно случайно) недостающие данные. Около 8% наблюдений примерно в 15 из 30 переменных содержат НК. Чтобы вложить недостающие...

9
Почему степени свободы для подобранных пар -тест количество пар минус 1?

Я привык знать "степени свободы" как , где у вас есть линейная модель \ mathbf {y} = \ mathbf {X} \ boldsymbol {\ beta} + \ boldsymbol {\ epsilon} с \ mathbf {y } \ in \ mathbb {R} ^ n , \ mathbf {X} \ in M_ {n \ times p} (\ mathbb {R}) проектная матрица с рангом r , \ boldsymbol {\ beta} \ in \...

9
Есть ли другая интерпретация для гамма-распределения с нецелым параметром формы?

Хорошо известно, что случайная величина, являющаяся гамма-распределением с параметром целочисленной формы kКk, эквивалентна сумме квадратов kКk нормально распределенных случайных величин. Но что я могу сказать о гамма-распределенной случайной переменной с нецелым kКk ? Есть ли вообще какая-то...

9
Что обычного, в обычных наименьших квадратах?

Мой друг недавно спросил, что же такого обычного, в отношении наименьших квадратов. Похоже, мы ни к чему не привели в обсуждении. Мы оба согласились, что OLS является частным случаем линейной модели, она имеет много применений, хорошо известна и является частным случаем многих других моделей. Но...

9
Является ли сумма большого числа независимых случайных величин Коши нормальной?

По центральной предельной теореме функция плотности вероятности суммы больших независимых случайных величин стремится к нормали. Поэтому можно ли сказать, что сумма большого числа независимых случайных величин Коши также является...

9
Несмещенная оценка параметра Пуассона

Количество несчастных случаев в день - это случайная переменная Пуассона с параметром , в 10 случайно выбранных дней число несчастных случаев было отмечено как 1,0,1,1,2,0,2,0,0,1, что будет быть беспристрастным оценщиком ?e λλλ\lambdaеλeλe^{\lambda} Я попытался сделать это следующим образом: мы...

9
Определение весов наименьших квадратов: функция R lm против

Может кто-нибудь сказать мне, почему я получаю разные результаты от Rвзвешенных наименьших квадратов и ручного решения с помощью матричной операции ? В частности, я пытаюсь вручную решить , где - диагональная матрица весов, - матрица данных, - ответ вектор. W A bWAx=WbWAx=Wb\mathbf W \mathbf...

9
Используют ли нейронные сети эффективное кодирование?

Мой вопрос касается взаимосвязи между гипотезой эффективного кодирования, изложенной на странице Википедии об эффективных алгоритмах кодирования и обучения нейронной сети. Какова связь между гипотезой эффективного кодирования и нейронными сетями? Существуют ли какие-либо модели нейронных сетей,...

9
Насколько эффективно Q-learning с нейронными сетями, когда на одно действие приходится одна единица вывода?

Справочная информация: я использую приближение Q-значения нейронной сети в моей задаче обучения подкрепления. Подход точно такой же, как описанный в этом вопросе , однако сам вопрос другой. В этом подходе количество выходов - это количество действий, которые мы можем предпринять. Иными словами,...

9
Как отобрать усеченное многочленное распределение?

Мне нужен алгоритм для выборки усеченного полиномиального распределения. Это, Икс⃗ ∼ 1ZпИкс11… РИксККИкс1! … ХК!Икс→~1Zп1Икс1...пКИксКИкс1!...ИксК!\vec x \sim \frac{1}{Z} \frac{p_1^{x_1} \dots p_k^{x_k}}{x_1!\dots x_k!} где - нормализационная константа, имеет положительных компонент и . Я...

9
Как рассчитать доверительный интервал X-перехвата в линейной регрессии?

Поскольку стандартная ошибка линейной регрессии обычно задается для переменной отклика, мне интересно, как получить доверительные интервалы в другом направлении - например, для x-перехвата. Я могу представить, что это может быть, но я уверен, что должен быть прямой способ сделать это. Ниже приведен...

9
Прогнозирование временных рядов с использованием ARIMA против LSTM

Проблема, с которой я имею дело, заключается в прогнозировании значений временных рядов. Я смотрю на один временной ряд за раз и на основе, например, 15% входных данных, я хотел бы предсказать его будущие значения. До сих пор я сталкивался с двумя моделями: LSTM (долговременная кратковременная...

9
Что подразумевается под «шумом Лапласа»?

В настоящее время я пишу алгоритм для дифференциальной конфиденциальности с использованием механизма Лапласа. К сожалению, у меня нет опыта в статистике, поэтому многие термины мне неизвестны. Так что теперь я спотыкаюсь о термине: шум Лапласа . Чтобы сделать дифференциальный набор данных закрытым,...

9
Можно ли использовать стандартизированные

Я пытаюсь интерпретировать результаты статьи, где они применили множественную регрессию, чтобы предсказать различные результаты. Однако 's (стандартизированные коэффициенты B определены как β x 1 = B x 1 ⋅ S D x 1ββ\beta гдеy- зависимая переменная, аx1- предиктор), по-видимому, не соответствует...

9
Интервал прогнозирования будущей доли успехов в биномиальных условиях

Предположим, я подгоняю биномиальную регрессию и получаю точечные оценки и дисперсионно-ковариационную матрицу коэффициентов регрессии. Это позволит мне получить CI для ожидаемой доли успехов в будущем эксперименте, , но мне нужен CI для наблюдаемой пропорции. Было опубликовано несколько связанных...

9
Я только что провел два миллиона регрессий - интегрированная вероятность

В настоящее время я работаю над попыткой реализовать метод, используемый в популярной статье под названием «Я только что провел два миллиона регрессий». Основная идея заключается в том, что есть определенные случаи, когда не очевидно, какие элементы управления должны быть включены в модель. Одна...

9
Масштабируемое уменьшение размера

Учитывая постоянное число функций, t-SNE Барнса-Хата имеет сложность , случайные проекции и PCA имеют сложность что делает их «доступными» для очень больших наборов данных.O ( n logн )О(Nжурнал⁡N)O(n\log n)O ( n )О(N)O(n) С другой стороны, методы, основанные на многомерном масштабировании, имеют...

9
Распределение квадратичной формы нормалей

Я пытаюсь выяснить распределение где Z i ∼ N ( 0 , 1 ) , если я знаю, что, взяв каждое из членов в отдельности, n ∑ i = 1 Z 2 i ∼ χ 2 ( n ) и 1( n - 1 ) ∑я = 1NZ2я- ( ∑я = 1NZя)2( ∗ )(n−1)∑i=1nZi2−(∑i=1nZi)2(∗) (n-1) \sum_{i=1}^n Z_i^2 - \left( \sum_{i=1}^n Z_i \right)^2 \qquad (*) Zя∼ N( 0 , 1...