Вопросы с тегом «data-storage»

26
Сжатие данных с плавающей запятой

Существуют ли какие-либо инструменты, специально предназначенные для сжатия научных данных с плавающей запятой? Если функция гладкая, очевидно, что числа, представляющие эту функцию, сильно коррелируют, поэтому данные должны хорошо сжиматься. Однако сжатие двоичных данных с плавающей запятой не...

15
Альтернативы hdf5

Я использую HDF5 в течение многих лет, но с ростом размера набора данных у меня начинаются те же проблемы, что и здесь http://cyrille.rossant.net/moving-away-hdf5/ Можете ли вы указать мне формат HDF5 с - Хорошая поддержка параллельной записи - Поддержка кускового доступа огромных матриц Мой...

13
Лучшие практики для хранения данных иерархического моделирования

TL, DR Какова общепринятая практика в научных вычислительных кругах для хранения большого количества иерархически структурированных данных? Например, SQL плохо работает с большими разреженными матрицами. Есть ли хороший инструмент для структурирования, складирования и анализа таких данных? Что...

13
Подходят ли файлы HDF5 для контроля версий git?

Я не знаком с форматом файлов, используемым в HDF5, но мне интересно, подходят ли файлы HDF5 для контроля версий с помощью git (или, например, Mercurial или Subversion)? Я предполагаю, что я имею в виду: подходят ли файлы HDF5 для линейного сравнения или git должен будет рассматривать HDF5 как один...