Вопросы с тегом «precision»

101
Функция, которая создает метку времени в c #

Мне было интересно, есть ли способ создать метку времени в С # из datetime? Мне нужно значение точности в миллисекундах, которое также работает в Compact Framework (говоря, что, поскольку DateTime.ToBinary () не существует в CF). Моя проблема в том, что я хочу сохранить это значение независимым от...

100
Безопасно ли проверять значения с плавающей запятой на равенство 0?

Я знаю, что обычно нельзя полагаться на равенство между значениями типа double или decimal, но мне интересно, является ли 0 особым случаем. Хотя я могу понять неточности между 0,00000000000001 и 0,00000000000002, само значение 0 кажется довольно сложным, поскольку это просто ничего. Если вы...

97
C # DateTime.Now точность

Я просто столкнулся с неожиданным поведением DateTime.UtcNow при выполнении некоторых модульных тестов. Похоже, что когда вы вызываете DateTime.Now/UtcNow в быстрой последовательности, он, кажется, возвращает вам то же значение для более длительного, чем ожидалось, интервала времени, а не...

95
Сколько двойных чисел между 0,0 и 1,0?

Это то, о чем я думал в течение многих лет, но я никогда не находил времени, чтобы спросить раньше. Многие (псевдо) генераторы случайных чисел генерируют случайное число от 0,0 до 1,0. Математически в этом диапазоне бесконечные числа, но doubleэто число с плавающей запятой и, следовательно, имеет...

93
PHP7.1 json_encode () Проблема с плавающей точкой

Это не вопрос, так как нужно знать. Я обновил приложение, использующее json_encode()PHP7.1.1, и обнаружил проблему с изменением числа с плавающей запятой, которое иногда увеличивалось до 17 цифр. Согласно документации, PHP 7.1.x начал использовать serialize_precisionвместо точности при кодировании...

84
Плавающие значения двойной точности в Python? [закрыто]

Закрыто . Этот вопрос должен быть более конкретным . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы он фокусировался только на одной проблеме, отредактировав этот пост . Закрыт 4 месяца назад . Уточните этот вопрос Есть ли типы данных с большей...

84
Почему в SQL 199.96 - 0 = 200?

У меня есть клиенты, которые получают странные счета. Мне удалось выделить основную проблему: SELECT 199.96 - (0.0 * FLOOR(CAST(1.0 AS DECIMAL(19, 4)) * CAST(199.96 AS DECIMAL(19, 4)))) -- 200 what the? SELECT 199.96 - (0.0 * FLOOR(1.0 * CAST(199.96 AS DECIMAL(19, 4)))) -- 199.96 SELECT 199.96 -...

36
Какой правильный / стандартный способ проверить, меньше ли разница, чем точность станка?

Я часто оказываюсь в ситуациях, когда необходимо проверить, превышает ли полученная разница точность станка. Похоже , что для этой цели R имеет удобную переменную: .Machine$double.eps. Однако, когда я обращаюсь к исходному коду R за рекомендациями по использованию этого значения, я вижу несколько...

15
Почему np.dot неточен? (n-dim массивы)

Предположим, мы берем np.dotдва 'float32'2D-массива: res = np.dot(a, b) # see CASE 1 print(list(res[0])) # list shows more digits [-0.90448684, -1.1708503, 0.907136, 3.5594249, 1.1374011, -1.3826287] Числа. Кроме того, они могут измениться: Случай 1 : срезa np.random.seed(1) a = np.random.randn(9,...

12
Эффективная стабильная сумма упорядоченных чисел

У меня есть довольно длинный список положительных чисел с плавающей точкой ( std::vector<float>, размер ~ 1000). Числа отсортированы в порядке убывания. Если я суммирую их в следующем порядке: for (auto v : vec) { sum += v; } Я предполагаю, что у меня может быть некоторая проблема с числовой...