Вопросы с тегом «hdf5»

«Большие данные» рабочие потоки с использованием панд

Я пытался найти ответ на этот вопрос в течение многих месяцев, изучая панд. Я использую SAS для своей повседневной работы, и он отлично подходит для поддержки из ядра. Однако SAS ужасен как часть программного обеспечения по многим другим причинам. Однажды я надеюсь заменить свое использование SAS...

Есть ли преимущество в скорости анализа или использовании памяти при использовании HDF5 для хранения больших массивов (вместо плоских двоичных файлов)?

Я обрабатываю большие трехмерные массивы, которые мне часто приходится нарезать различными способами для проведения разнообразного анализа данных. Типичный «куб» может иметь размер ~ 100 ГБ (и, вероятно, в будущем он станет больше). Кажется, что типичный рекомендуемый формат файла для больших...