Статистика и большие данные

9
Зачем добавлять один в частоте обратного документа?

Мой учебник перечисляет idf как гдел о г( 1 + NNT)log(1+Nnt)log(1+\frac{N}{n_t}) : количество документовNNN : количество документов, содержащих термин tNTntn_tttt Википедия перечисляет эту формулу в виде сглаженной версии фактического . Это один Я понимаю: она колеблется...

9
Многочленные логистические потери против (перекрестная энтропия против квадратной ошибки)

Я заметил, что Caffe (структура глубокого обучения) использовала Softmax Loss Layer в SoftmaxWithLoss качестве выходного слоя для большинства образцов модели . Насколько я знаю, слой Softmax Loss представляет собой комбинацию Multinomial Logistic Loss Layer и Softmax Layer . От Кафе они сказали,...

9
Это все в семье; но мы также включаем в закон?

Предположим, у меня есть эксперимент с двумя или более факторами. Создается общий ANOVA, а затем мы проводим два или более набора специальных тестов, скажем, многократных сравнений. Мой вопрос о том, какие большие и сколько семейств следует использовать в качестве основы для корректировки...

9
Почему сумма квадратов не увеличивается при добавлении пояснительной переменной?

В моем эконометрическом учебнике (Вводная эконометрика), посвященном МЖС, автор пишет: «SSR должен падать, когда добавляется еще одна объясняющая переменная». Почему...

9
Как установить пользовательские контрасты с помощью lmer в R

Я использую lmer в R, чтобы проверить влияние условия ( cond) на некоторый результат. Вот некоторые составные данные, где s - идентификатор субъекта a, bи c- условия. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3,...

9
Как интерпретировать и делать прогнозирование с использованием пакета tsoutliers и auto.arima

У меня есть ежемесячные данные с 1993 по 2015 год, и я хотел бы сделать прогноз на этих данных. Я использовал пакет tsoutliers для определения выбросов, но я не знаю, как мне продолжать прогнозировать с моим набором данных. Это мой код: product.outlier<-tso(product,types=c("AO","LS","TC"))...

9
Сколько сторон у кубика? Байесовский вывод в JAGS

проблема Я хотел бы сделать некоторые выводы о системе, аналогичной смерти с неизвестным числом сторон. Матрица бросается несколько раз, после чего я хотел бы вывести распределение вероятностей по параметру, соответствующему количеству сторон, которые имеет матрица, θ. Интуиция Если после 40...

9
Найти близкие пары в очень высокомерном пространстве с разреженными векторами

У меня есть (~ миллион) векторов признаков. Есть (~ миллион) бинарных объектов, но в каждом векторе только (~ тысяча) из них будет , остальные - . Я ищу пары векторов, которые имеют как минимум (~ сто) общих признаков ( в обоих). Количество таких пар имеет величину, аналогичную (~...

9
Как доказать, что

Я пытался установить неравенство |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} где - среднее значение выборки, а - стандартное отклонение выборки, то есть S = \ sqrt {\ frac {\ sum_ {i = 1} ^ n \ left (X_i - \ bar {X} \...

9
Как я могу сказать, что в результатах PCA нет закономерностей?

У меня есть 1000+ выборок из 19 переменных. Моя цель состоит в том, чтобы предсказать двоичную переменную на основе других 18 переменных (двоичной и непрерывной). Я вполне уверен, что 6 из прогнозирующих переменных связаны с двоичным ответом, однако я хотел бы дополнительно проанализировать набор...

9
Можем ли мы всегда переписать правильное перекошенное распределение в терминах композиции произвольного и симметричного распределения?

Рассмотрим дважды дифференцируемое и симметричное распределение . Теперь рассмотрим второе дважды дифференцируемое распределение перекосом в том смысле, что:FXFX\mathcal{F}_XFZFZ\mathcal{F}_Z (1)FX⪯cFZ.(1)FX⪯cFZ.(1)\quad\mathcal{F}_X\preceq_c\mathcal{F}_Z. где - выпуклый порядок van Zwet [0], так...

9
Обновление байесовского фактора

Байесовский фактор определяется в байесовском тестировании гипотезы и выборе байесовской модели соотношением двух предельных правдоподобий: с учетом выборки iid и соответствующих плотностей выборки и , с соответствующими приорами и , для сравнения двух моделей используется байесовский фактор: книга...

9
Почему коэффициенты линейной и логистической регрессии нельзя оценить одним и тем же методом?

В книге по машинному обучению я прочитал, что параметры линейной регрессии могут быть оценены (среди других методов) градиентным спуском, в то время как параметры логистической регрессии обычно оцениваются с помощью оценки максимального правдоподобия. Можно ли объяснить новичку (мне), почему нам...

9
Как рассчитать вероятность исхода этого извилистого механика броска костей?

Этот вопрос задает вопрос о вероятности успеха в ролевых играх. Тем не менее, вопрос и его ответы не охватывают некоторые сложности механики игры в кости. В частности, он вообще не распространяется на ошибки (один из возможных результатов). У игрока есть пул игральных костей, основанный на механике...

9
Что это за компромиссная дисперсия для коэффициентов регрессии и как ее получить?

В данной работе , ( байесовский вывод для Компоненты дисперсии , используя только Error Контрастов , Харвилл, 1974), автор утверждает ( у- Хβ)'ЧАС- 1( у- Хβ) = ( у- Хβ^)'ЧАС- 1( у- Хβ^) + ( β- β^)'( Х'ЧАС- 1Икс) ( β- β^)(Y-Иксβ)'ЧАС-1(Y-Иксβ)знак...

9
Линейная регрессия с ошибками Лапласа

Рассмотрим модель линейной регрессии: где , то есть Распределение Лапласа со средним значением и параметром масштаба являются взаимно независимыми. Рассмотрим оценку максимального правдоподобия неизвестного параметра : из которого \ hat {\ boldsymbol \ beta} _ {\ mathrm {ML}} = {\ arg \ min} _ {\...

9
Почему столбец пересечения в model.matrix заменяет первый фактор?

Я пытаюсь преобразовать столбец фактора в фиктивные переменные: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels <- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250 pointsBin.lte300...

9
Набор некоррелированных, но линейно зависимых переменных

Можно ли иметь набор из переменных, которые не коррелированы, но линейно зависимы?KKK т.е. и∑ K i = 1 a i x i = 0cor(xi,xj)=0cor(xi,xj)=0cor(x_i, x_j)=0∑Ki=1aixi=0∑i=1Kaixi=0 \sum_{i=1}^K a_ix_i=0 Если да, можете ли вы написать пример? РЕДАКТИРОВАТЬ: Из ответов следует, что это невозможно. По...

9
Выбор оригинальной (?) Модели с k-кратным CV

При использовании k-кратного CV для выбора между регрессионными моделями я обычно вычисляю ошибку CV отдельно для каждой модели вместе со стандартной ошибкой SE, и выбираю простейшую модель в пределах 1 SE модели с наименьшей ошибкой CV (1 стандартное правило ошибки, см., например, здесь ). Однако...

9
Невозможно заставить эту сеть автоэнкодера функционировать должным образом (со сверточным и максимальным уровнями)

Автоэнкодерные сети кажутся более хитрыми, чем обычные классификаторы MLP сетей. После нескольких попыток использования лазаньи все, что я получаю в восстановленном выводе, в чем-то напоминает размытое усреднение всех изображений базы данных MNIST без различия того, что представляет собой входная...