Эта идея пришла мне в голову, когда я учился программировать и впервые столкнулся с PRNG. Я до сих пор не знаю, насколько это реалистично, но сейчас происходит обмен стека. Вот схема 14-летнего ребенка для удивительного алгоритма сжатия: Возьмите PRNG и начните его с seed, sчтобы получить длинную...
Согласно Википедии : Энтропия Шеннона измеряет информацию, содержащуюся в сообщении, в отличие от той части сообщения, которая определена (или предсказуема). Примеры последних включают избыточность в структуре языка или статистических свойствах, связанных с частотой встречаемости пар букв или слов,...
Алан Тьюринг предложил модель для машины (Turing Machine, TM), которая вычисляет (числа, функции и т. Д.), И доказал теорему Остановки . ТМ - это абстрактное понятие машины (или двигателя, если хотите). Теорема Остановки - результат невозможности. Двигатель Карно (CE) - это абстрактное понятие...
Скажем, мне нужно смоделировать следующее дискретное распределение: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Наиболее очевидный способ - нарисовать случайных битов и...
Какой-то парень сказал следующее: Любой, кто пытается генерировать случайные числа детерминистскими средствами, конечно же, живет в состоянии греха. Это всегда означает, что вы не можете генерировать истинные случайные числа только с помощью компьютера. И он сказал, что когда компьютеры были...
В Linux файлы /dev/randomи/dev/urandom файлы являются блокирующими и неблокирующими (соответственно) источниками псевдослучайных байтов. Их можно читать как обычные файлы: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020...
У вас есть массив из отдельных элементов. У вас есть доступ к компаратору (функция черного ящика, принимающая два элемента и и возвращающая true, если ) и действительно случайный источник битов (функция черного ящика, не принимающая аргументов и возвращающая независимо равномерно случайный бит)....
Учитывая строку значений энтропии Шеннона в логарифм приходит к 0,922 . Из того, что я понимаю, в базе 2 энтропия Шеннона, округленная в большую сторону, является минимальным числом битов в двоичном коде, чтобы представить одно из значений.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Взято...
На работе мне было поручено вывести некоторую информацию о типах динамического языка. Я переписываю последовательности операторов во вложенные letвыражения, например так: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z => if x then {...
Пытаясь понять взаимосвязи между кодированием Хаффмана, арифметическим кодированием и дистанционным кодированием, я начал думать о недостатках кодирования Хаффмана, связанных с проблемой дробной битовой упаковки . То есть, предположим, что у вас есть 240 возможных значений для символа, и вам...
У меня есть ограниченная проблема оптимизации в матрице (Шеннона) энтропии ( Ы у м( e n t r ( e i g ( A ) ) ) )(sUм(еNTр(еяг(A))))\mathtt{(sum(entr(eig(A))))} . Матрица может быть записана как сумма матриц ранга 1 вида где - заданный нормализованный вектор. Коэффициенты матриц ранга один - это...
Я пытаюсь измерить много не избыточной (фактической) информации, содержащейся в моем файле. Некоторые называют это количеством энтропии. Конечно, существует стандарт p (x) log {p (x)}, но я думаю, что Шеннон рассматривал его только с точки зрения передачи по каналу. Следовательно, формула требует...