Я видел в некоторых моментах использование производной Радона-Никодима одной вероятностной меры по отношению к другой, особенно в дивергенции Кульбака-Лейблера, где она является производной вероятностной меры модели для некоторого произвольного параметра с относительно реального параметра θ 0...
Может ли взаимная информация по совместной энтропии: 0 ≤ I( Х, Y)ЧАС( Х, Y)≤ 10≤я(Икс,Y)ЧАС(Икс,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 быть определено как: «вероятность передачи части информации от X до Y»? Прошу прощения за наивность, но я никогда не изучал теорию информации, и я просто пытаюсь...
В своем исследовании я столкнулся со следующей общей проблемой: у меня есть два распределения и в одной и той же области и большое (но конечное) число выборок из этих распределений. Выборки независимо и идентично распределяются из одного из этих двух распределений (хотя распределения могут быть...
Рассмотрим случайный граф Эрдоса-Реньи G=(V(n),E(p))G=(V(n),E(p))G=(V(n),E(p)) . Множество nnn вершин VVV помечено V={1,2,…,n}V={1,2,…,n}V = \{1,2,\ldots,n\} . Множество ребер EEE строится случайным процессом. Пусть ppp - вероятность...
Я пытаюсь применить идею взаимной информации к выбору функций, как описано в этих примечаниях к лекции (на странице 5). Моя платформа - Matlab. Одна проблема, которую я нахожу при вычислении взаимной информации из эмпирических данных, состоит в том, что число всегда смещено вверх. Я нашел около 3 ~...
Я немного смущен. Может ли кто-нибудь объяснить мне, как рассчитать взаимную информацию между двумя терминами на основе матрицы терминов-документов с использованием двоичных терминов в виде весов?...
Рассмотрим бесконечный случайный геометрический граф, в котором положения узлов следуют за пуассоновским точечным процессом с плотностью а ребра располагаются между узлами, которые ближе, чем d . Следовательно, длина ребер соответствует следующему PDF:ρρ\rhoddd...
Как видно из названия, всегда ли уменьшение размеров теряет некоторую информацию? Рассмотрим для примера PCA. Если у меня очень мало данных, я бы предположил, что может быть найдена «лучшая кодировка» (это как-то связано с рангом данных?), И ничего не будет...
Что является хорошим показателем для оценки качества анализа главных компонентов (PCA)? Я выполнил этот алгоритм на наборе данных. Моей целью было уменьшить количество функций (информация была очень избыточной). Я знаю, что процент сохраняемой дисперсии является хорошим показателем того, сколько...
Тестовая статистика Дарбины-Уотсон может лежать в безрезультатной области, где не возможно либо отклонить или не отвергнуть нулевую гипотезу (в данном случае, нулевой автокорреляции). Какие другие статистические тесты могут дать "неубедительные" результаты? Существует ли общее объяснение (хорошо...
У меня есть некоторые данные, которые существуют на графе . Вершины принадлежат одному из двух классов y i ∈ { - 1 , 1 } , и я заинтересован в обучении SVM различать эти два класса. Одним подходящее ядро для этого является в диффузии ядро , К = ехру ( - β L ) , где L является лапласианом из G и β...
Малой мировая сеть представляет собой тип математического графа , в котором большинство узлов не являются соседями друга с другом, но большинство узлов могут быть достигнуты с любым другим небольшим числом прыжков или шагов. В частности, сеть малого мира определяется как сеть, в которой типичное...
Я хочу количественно определить отношения между двумя переменными, A и B, используя взаимную информацию. Способ вычислить его - связать наблюдения (см. Пример кода Python ниже). Однако какие факторы определяют, какое количество лотков является разумным? Мне нужно, чтобы вычисления были быстрыми,...
Я столкнулся с этими слайдами (слайд № 16 и № 17) на одном из онлайн-курсов. Преподаватель пытался объяснить, как максимальная апостериорная оценка (MAP) на самом деле является решением L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}] , где - истинный параметр.θ∗θ∗\theta^{*}...
Хорошо, мое оригинальное сообщение не смогло получить ответ; Итак, позвольте мне поставить вопрос по-другому. Я начну с объяснения моего понимания оценки с точки зрения теории решения. У меня нет формального обучения, и меня не удивит, если мое мышление каким-то образом ошибочно. Предположим , у...
Я программирую и занимаюсь разработкой на основе тестов. После внесения изменений в код я запускаю свои тесты. Иногда они добиваются успеха, а иногда они терпят неудачу. Перед запуском теста я записываю число от 0,01 до 0,99, чтобы удостовериться, что тест пройдёт успешно. Я хочу знать, улучшаю ли...
Или какие условия это гарантируют? В целом (и не только для нормальных и биномиальных моделей) я полагаю, что главная причина, которая нарушила это утверждение, состоит в том, что существует несоответствие между моделью выборки и предыдущей, но что еще? Я начинаю с этой темы, поэтому я очень ценю...
Я столкнулся с вопросом об интервью для работы, на которой интервьюер спросил меня, предположим, что ваш очень низок (от 5 до 10%) для модели ценовой эластичности. Как бы вы решили этот вопрос?R2R2R^2 Я не мог думать ни о чем другом, кроме того факта, что я буду проводить регрессионную диагностику,...
В статье под названием « Глубокое обучение и принцип узкого места в информации» авторы утверждают в разделе II А) следующее: Одиночные нейроны классифицируют только линейно разделимые входы, поскольку они могут реализовывать только гиперплоскости в своем входном пространстве u=wh+bu=wh+bu = wh+b ....
Предположим, у меня есть одна выборка частот из 4 возможных событий: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 и у меня есть ожидаемые вероятности того, что мои события произойдут: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 С суммой наблюдаемых частот моих четырех событий (18) я могу рассчитать ожидаемые частоты...