С фиксированным априором оценки ML (частота - максимальная вероятность) и MAP (байесовская апостериорная) совпадают. В целом, однако, я говорю о точечных оценках, полученных как оптимизаторы некоторой функции потерь. Т.е. (Bayesian) х...
Этот вопрос был вдохновлен двумя недавними взаимодействиями, которые у меня были: одно здесь, в резюме , другое на economics.se. Там, я отправил ответ на известный «Конверт парадокса» (заметьте, не как на «правильный ответ» , но в качестве ответа , вытекающих из конкретных предположений о структуре...
Какие теоретические подходы к причинности я должен знать как прикладной статистик / эконометрик? Я знаю (очень немного) Причинно-следственная модель Неймана – Рубина (и Рой , Гавелмо и т. Д.) Работа Перла о причинности Причинность Грейнджера (хотя и менее ориентированная на лечение) Какие концепции...
Я сталкивался с некоторыми основными способами измерения сложности нейронных сетей: Наивный и неформальный: подсчитайте количество нейронов, скрытых нейронов, слоев или скрытых слоев VC-измерение (Эдуардо Д. Сонтаг [1998] "VC-измерение нейронных сетей" [ pdf ].) Конечно-гранулированная и...
Есть ли хорошие книги, в которых объясняются такие важные понятия теории вероятностей, как функции распределения вероятностей и кумулятивные функции распределения? Пожалуйста, избегайте ссылок на такие книги, как «Математическая статистика и анализ данных» Джона Райса, которые начинаются с простых...
Этот вопрос дает количественное определение кросс-энтропии с точки зрения ее формулы. Я ищу более условное определение, википедия говорит: В теории информации кросс-энтропия между двумя распределениями вероятностей измеряет среднее число битов, необходимое для идентификации события из набора...
Я думал, что концепция типичного набора довольно интуитивна: последовательность длины будет принадлежать типичному набору A ( n ) ϵ, если вероятность выхода последовательности будет высокой. Таким образом, любая последовательность, которая была бы вероятна, была бы в A ( n ) ϵ . (Я избегаю...
Тесты перестановки (также называемые тестом рандомизации, тестом повторной рандомизации или точным тестом) очень полезны и оказываются полезными, когда предположение о нормальном распределении, требуемое, например, t-testне выполняется, и когда преобразование значений путем ранжирования...
Недавно я прочитал эту статью об энтропии дискретного распределения вероятностей. Он описывает хороший способ восприятия энтропии как ожидаемых числовых битов (по крайней мере, при использовании в определении энтропии), необходимых для кодирования сообщения, когда ваша кодировка оптимальна,...
Я попытался вычислить AIC линейной регрессии в R, но без использования AICфункции, например: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Тем не менее, AICдает другое значение: AIC(lm_mtcars) [1]...
Рассмотрим решение Джейнса к парадоксу Бертрана с использованием принципа безразличия . Почему подобный аргумент не применим к парадоксу Бореля-Колмогорова ? Есть ли что-то не так с утверждением, что, поскольку проблема не определяет ориентацию сферы, вращение сферы не должно влиять на итоговое...
Не ссылаясь на источники, Википедия определяет кросс-энтропию дискретных распределений и Q какппPQQQ ЧАС×( P; Q )= - ∑Икср ( х )журналQ( Х ) .ЧАС×(п;Q)знак равно-ΣИксп(Икс)журналQ(Икс),\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Кто первым начал использовать...
Контекст : Я хочу , чтобы нарисовать линию в диаграмме рассеяния , что не появляется параметрическими, поэтому я использую geom_smooth()в ggplotв R. Он автоматически возвращает geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use...
Представьте себе следующую схему: у вас есть 2 монеты, монета A, которая гарантированно будет честной, и монета B, которая может быть или не быть честной. Вас просят сделать 100 монетных бросков, и ваша цель - максимизировать количество голов . Ваша предварительная информация о монете B состоит в...
Для произвольной непрерывной случайной величины, скажем, XXX , всегда ли ее дифференциальная энтропия меньше ∞∞\infty ? (Это нормально, если это −∞−∞-\infty .) Если нет, каково необходимое и достаточное условие, чтобы оно было меньше, чем...
Модели гауссовых смесей (GMM) привлекательны, потому что с ними просто работать как в аналитическом, так и на практическом плане, и они способны моделировать некоторые экзотические распределения без особых сложностей. Есть несколько аналитических свойств, которые мы должны ожидать, которые в целом...
Что касается названия, идея состоит в том, чтобы использовать взаимную информацию, здесь и после MI, для оценки «корреляции» (определяемой как «насколько я знаю об A, когда я знаю B») между непрерывной переменной и категориальной переменной. Я расскажу вам свои мысли по этому вопросу через минуту,...
Дифференциальная энтропия гауссовых RV равна . Это зависит от , который является стандартным отклонением.σlog2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Если мы нормализуем случайную переменную так, чтобы она имела единичную дисперсию, ее дифференциальная энтропия падает. Для меня...
В течение прошлого года я довольно тесно работал над выборкой важных данных, и у меня есть несколько открытых вопросов, с которыми я надеялся получить некоторую помощь. Мой практический опыт работы со схемами выборки по важности заключался в том, что они могут иногда давать фантастические оценки с...
Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией. Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?...