В течение прошлого года я довольно тесно работал над выборкой важных данных, и у меня есть несколько открытых вопросов, с которыми я надеялся получить некоторую помощь. Мой практический опыт работы со схемами выборки по важности заключался в том, что они могут иногда давать фантастические оценки с...
Дифференциальная энтропия гауссовых RV равна . Это зависит от , который является стандартным отклонением.σlog2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Если мы нормализуем случайную переменную так, чтобы она имела единичную дисперсию, ее дифференциальная энтропия падает. Для меня...
Я пытаюсь обдумать следующее доказательство того, что гауссиан обладает максимальной энтропией. Как помеченный шаг имеет смысл? Определенная ковариация только фиксирует второй момент. Что происходит с третьим, четвертым, пятым моментами и т. Д.?...
У меня есть проблемы с пониманием полной достаточной статистики? Пусть - достаточная статистика.T= Σ xяTзнак равноΣИксяT=\Sigma x_i Если с вероятностью 1 для некоторой функции g , то это полная достаточная статистика.Е[ г( Т) ] = 0Е[грамм(T)]знак равно0E[g(T)]=0граммграммg Но что это значит? Я...
Я хотел бы рассчитать дивергенцию Дженсена-Шеннона для следующих трех распределений. Является ли приведенный ниже расчет правильным? (Я следовал формуле JSD из Википедии ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) =...
Если мы хотим вычислить причинное влияние на Y на приведенном ниже причинном графике, мы можем использовать как теоремы регулировки задней двери, так и теоремы регулировки передней двери, т. Е. P ( y | do ( X = x ) ) = ∑ u P ( y | x , u ) P ( u )ИксXXYYYп( у| делать (X= х ) ) = ∑Uп( у| х,и)П( и...
Примечание: этот вопрос является репостом, так как мой предыдущий вопрос пришлось удалить по юридическим причинам. Сравнивая PROC MIXED из SAS с функцией lmeиз nlmeпакета в R, я наткнулся на некоторые довольно запутанные различия. Более конкретно, степени свободы в разных тестах различаются между...
Предположим, что у нас есть (измеримое и соответственно хорошо себя ведущее) множество , где компактно. Кроме того, предположим, что мы можем извлечь образцы из равномерного распределения по относительно меры Лебега и что мы знаем меру . Например, возможно представляет собой коробку , содержащий...
Представьте, что исследователь исследует набор данных и запускает 1000 различных регрессий, и он обнаруживает одну интересную связь между ними. Теперь представьте, что другой исследователь с такими же данными запускает всего 1 регрессию, и оказывается, что это тот же самый, что другой исследователь...
(Я разместил аналогичный вопрос на math.se. ) В информационной геометрии детерминант информационной матрицы Фишера представляет собой естественную форму объема на статистическом многообразии, поэтому он имеет хорошую геометрическую интерпретацию. Например, тот факт, что он фигурирует в определении...
Пусть обозначает байесовский риск оценки относительно априора , пусть обозначает множество всех априоров в пространстве параметров , а обозначает множество все (возможно, рандомизированные) правила принятия решений.δ π Π Θ Δr(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta Статистическая...
Из Википедии есть определение информационного критерия Акаике (AIC) как , где - число параметров, а \ log L - логарифмическая вероятность модели.k log LAIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L kkkжурналLlogL\log L Тем не менее, наша эконометрика отмечает в уважаемом университете, что А яС=...
Я искал теоретические основы для выбора метода (примечание: не выбор модели) и нашел очень мало систематической, математически мотивированной работы. Под «выбором метода» я подразумеваю основу для различения подходящего (или лучшего, оптимального) метода по отношению к проблеме или типу проблемы....
Может ли взаимная информация по совместной энтропии: 0 ≤ I( Х, Y)ЧАС( Х, Y)≤ 10≤я(Икс,Y)ЧАС(Икс,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 быть определено как: «вероятность передачи части информации от X до Y»? Прошу прощения за наивность, но я никогда не изучал теорию информации, и я просто пытаюсь...
Я заинтересован в (глубоком) изучении подкрепления (RL) . Прежде чем погрузиться в это поле, я должен пройти курс теории игр (GT) ? Как связаны GT и RL
Моя парикмахерская Стейси всегда выглядит счастливой, но ей часто не хватает времени. Сегодня Стейси была запоздалой на мое назначение и очень извинялась. Во время стрижки я подумала: как долго должны проходить ее стандартные встречи? (если предпочтение клиента на чистые круглые числа может быть...
Я использовал метод извлечения магистральной сети, описанный в этой статье: http://www.pnas.org/content/106/16/6483.abstract По сути, авторы предлагают метод, основанный на статистике, который дает вероятность для каждого ребра в графе, что ребро могло произойти случайно. Я использую типичное...
Я написал программу для имитации сверху вниз перетасовать карты. Каждая карта пронумерована, начиная с масти CLUBS, DIAMONDS, HEARTS, SPADESи ранга от двух до десяти, затем Джек, Королева, Король и Туз. Таким образом, у двух клубов число 1, у трех клубов 2 ... Туз треф составляет 13 ... Туз пик...
Я пытаюсь построить границу решения алгоритма персептрона, и я действительно запутался в нескольких вещах. Мои входные экземпляры имеют форму , в основном это двумерный входной экземпляр ( x 1 и x 2 ) и целевое значение двоичного класса ( y ) [1 или 0].[(x1,x2),y][(x1,x2),y][(x_{1},x_{2}),...
У меня есть очень основные сомнения. Извините, если это немного раздражает. Я знаю, что значение Взаимной информации должно быть больше 0, но должно ли оно быть меньше 1? Это ограничено каким-либо верхним значением? Спасибо,...