Статистика и большие данные

67
Есть ли * математическая * основа для дебатов Байеса против частых?

В Википедии сказано, что: математика [вероятности] в значительной степени не зависит от какой-либо интерпретации вероятности. Вопрос: Тогда, если мы хотим быть математически правильными, не должны ли мы запретить какую-либо интерпретацию вероятности? Т.е. математически неверны и байесовский, и...

67
Правильный способ использования рекуррентной нейронной сети для анализа временных рядов

Рекуррентные нейронные сети отличаются от «обычных» тем, что имеют слой «памяти». Благодаря этому слою рекуррентные NN должны быть полезны при моделировании временных рядов. Тем не менее, я не уверен, что правильно понимаю, как их использовать. Допустим, у меня есть следующие временные ряды (слева...

67
Сходимость по вероятности против почти уверенной сходимости

Я никогда не замечал разницу между этими двумя показателями конвергенции. (Или, по сути, любой из различных типов сходимости, но я упоминаю эти два, в частности, из-за слабых и строгих законов больших чисел.) Конечно, я могу процитировать определение каждого и привести пример, где они различаются,...

67
Нагрузки против собственных векторов в PCA: когда использовать тот или иной?

В анализе главных компонент (PCA) мы получаем собственные векторы (единичные векторы) и собственные значения. Теперь давайте определим загрузки какLoadings=Eigenvectors⋅Eigenvalues−−−−−−−−−−√.Loadings=Eigenvectors⋅Eigenvalues,\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Я...

67
Какова взаимосвязь между независимым компонентным анализом и факторным анализом?

Я новичок в независимом компонентном анализе (ICA) и имею только элементарное понимание метода. Мне кажется, что ICA похож на Факторный анализ (FA) с одним исключением: ICA предполагает, что наблюдаемые случайные величины являются линейной комбинацией независимых компонентов / факторов, которые не...

66
Сколько заплатить? Практическая проблема

Это не вопрос домашнего труда, а реальная проблема, с которой сталкивается наша компания. Совсем недавно (2 дня назад) мы заказали у дилера 10000 этикеток. Дилер - независимый человек. Он получает этикетки, изготовленные извне, и компания производит оплату дилеру. Каждый лейбл стоил компании ровно...

66
Зачем оптимизировать максимальную логарифмическую вероятность вместо вероятности

В большинстве задач машинного обучения, где вы можете сформулировать некоторую вероятность которая должна быть максимизирована, мы фактически оптимизировали бы логарифмическую вероятность вместо вероятности для некоторых параметров . Например, в обучении с максимальным правдоподобием, это, как...

66
Расчет параметров бета-распределения с использованием среднего и дисперсии

Как я могу рассчитать параметры и для бета-распределения, если я знаю среднее значение и дисперсию, которые я хочу иметь в распределении? Примеры команды R для этого были бы наиболее...

66
Статистически полезна ли эта диаграмма, показывающая вероятность террористической атаки?

Я вижу, как это изображение много раздается. У меня есть ощущение, что информация, предоставленная таким образом, является какой-то неполной или даже ошибочной, но я недостаточно разбираюсь в статистике, чтобы отвечать. Это заставляет меня думать об этом комиксе xkcd , что даже при наличии...

66
Какая корреляция делает матрицу сингулярной и каковы значения сингулярности или почти сингулярности?

Я делаю некоторые вычисления на разных матрицах (в основном в логистической регрессии), и я обычно получаю ошибку «Матрица является единственной», где я должен вернуться и удалить коррелированные переменные. Мой вопрос здесь: что бы вы назвали «сильно» коррелированной матрицей? Существует ли...

66
Посмотри и найдешь (корреляция)

У меня есть несколько сотен измерений. Теперь я рассматриваю возможность использования какого-либо программного обеспечения для сопоставления каждой меры с каждой мерой. Это означает, что существуют тысячи корреляций. Среди них (статистически) должна быть высокая корреляция, даже если данные...

65
Статистика интервью вопросы

Я ищу некоторые статистические (и, вероятно, вероятностные) вопросы для интервью, от самых простых до более продвинутых. Ответы не обязательны (хотя ссылки на конкретные вопросы на этом сайте вполне...

65
Практические вопросы по настройке случайных лесов

Мои вопросы о случайных лесах. Концепция этого красивого классификатора мне ясна, но все же есть много практических вопросов использования. К сожалению, мне не удалось найти никакого практического руководства по ВЧ (я искал что-то вроде «Практического руководства по обучению машин Больцмана с...

65
В чем разница между «функцией связи» и «канонической функцией связи» для GLM

В чем разница между терминами «функция связи» и «функция канонического соединения»? Кроме того, есть ли (теоретические) преимущества использования одного над другим? Например, двоичная переменная ответа может быть смоделирована с использованием многих функций связи, таких как logit , probit и т. Д....

65
Что такое «момент» о «моментах» распределения вероятностей?

Я ЗНАЮ, что такое моменты и как их вычислять и как использовать функцию генерации моментов для получения моментов более высокого порядка. Да, я знаю математику. Теперь, когда мне нужно смазать свои статистические знания для работы, я подумал, что с таким же успехом могу задать этот вопрос - это...

65
Единый взгляд на усадку: какова связь (если таковая имеется) между парадоксом Штейна, регрессией гребня и случайными эффектами в смешанных моделях?

Рассмотрим следующие три явления. Парадокс Штейна: учитывая некоторые данные из многомерного нормального распределения в Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 , среднее значение выборки не очень хорошая оценка истинного среднего. Можно получить оценку с меньшей среднеквадратичной ошибкой, если...

65
Как интерпретировать обратную ковариацию или прецизионную матрицу?

Мне было интересно, может ли кто-нибудь указать мне некоторые ссылки, которые обсуждают интерпретацию элементов обратной ковариационной матрицы, также известной как матрица концентрации или прецизионная матрица. У меня есть доступ к многовариантным зависимостям Кокса и Вермута , но мне нужна...

64
Является ли язык R надежным в области экономики?

Я аспирант по экономике, который недавно перешел на R из других очень известных статистических пакетов (в основном я использовал SPSS). На данный момент моя маленькая проблема в том, что я единственный пользователь R в своем классе. Мои одноклассники используют Stata и Gauss, и один из моих...