Вопросы с тегом «data-management»

40
Какое программное обеспечение и рабочий процесс рекомендуется для публикации научных данных и графиков?

Какое программное обеспечение обеспечивает хороший рабочий процесс от простого построения нескольких точек данных до создания графики уровня публикации с подробными стилями, математической версткой и «профессиональным качеством»? Это немного связано с вопросом Дэвида (« Какие атрибуты делают фигуру...

14
Как бороться со слишком большим количеством данных?

Наши моделирования динамики плазмы часто дают слишком много информации. Во время моделирования мы записываем различные физические свойства в сетке (x, y, z, t), которая равна (8192x1024x1024x1500), по крайней мере, для 10 свойств. Эта информация обрабатывается после завершения моделирования. С этим...

13
Лучшие практики для хранения данных иерархического моделирования

TL, DR Какова общепринятая практика в научных вычислительных кругах для хранения большого количества иерархически структурированных данных? Например, SQL плохо работает с большими разреженными матрицами. Есть ли хороший инструмент для структурирования, складирования и анализа таких данных? Что...

13
Подходят ли файлы HDF5 для контроля версий git?

Я не знаком с форматом файлов, используемым в HDF5, но мне интересно, подходят ли файлы HDF5 для контроля версий с помощью git (или, например, Mercurial или Subversion)? Я предполагаю, что я имею в виду: подходят ли файлы HDF5 для линейного сравнения или git должен будет рассматривать HDF5 как один...

11
Ограничения Pandas и их альтернативы в Python

Я где-то читал, что Pandas был впервые разработан для финансового мира, по крайней мере, особенно для естественных наук (физика, биология и т. Д.), Так есть ли подобный пакет анализа данных Python, более «ориентированный на естественные науки»? Я только начал использовать Pandas и уже столкнулся с...

9
предложение по управлению прогонами симуляции?

Эти вопросы могут быть немного не по теме в comp-sci. если это необходимо, пожалуйста, предложите, где это подходит. Вопрос касается того, как эффективно управлять всеми симуляциями. скажем, например, моделирование требует фиксации 2 параметров, которые должны быть определены в определенном...