Подходят ли файлы HDF5 для контроля версий git?

Я не знаком с форматом файлов, используемым в HDF5, но мне интересно, подходят ли файлы HDF5 для контроля версий с помощью git (или, например, Mercurial или Subversion)? Я предполагаю, что я имею в виду: подходят ли файлы HDF5 для линейного сравнения или git должен будет рассматривать HDF5 как один большой двоичный файл и хранить полную копию для каждой ревизии?

data-management data-storage Томас Арилдсен
источник

HDF5 предназначен для двоичных данных. Они не совсем подходят для различий линий. При этом, если все, что вы пишете в них, это строки ASCII, вам, скорее всего, это сойдет с рук. Какова твоя цель?

Билл Барт

Мне просто интересно, подойдут ли они для контроля версий. Это становится неудобным, если отслеживание ревизий должно сохранять полную новую копию всего набора данных каждый раз, когда в него вносятся относительно небольшие изменения.

Томас Арильдсен

Какие данные вы планируете добавить в свои файлы HDF5? Файлы HDF5 обычно используются для больших двоичных входов и выходов из кодов моделирования. Первые часто меняются не часто, и неясно, что последние относятся к контролю версий. Какова твоя цель?

Билл Барт

Я думаю о таких ситуациях, как отбрасывание записей данных из вашего набора данных из-за контроля качества или добавление дополнительных данных в наборы уже существующих данных.

Томас Арильдсен

HDF5, вероятно, не будет отличаться, но вы должны спросить себя, что для вас важнее: размер вашего репо или функции, которые дает вам HDF5. Возможно, лучшим вопросом будет «Каков наилучший способ хранения необработанных данных, обеспечивающий историю версий и функции провенанса?»

Билл Барт,

Ответы:

Вы получите гораздо лучший ответ, если предоставите еще несколько технических деталей о том, какие данные вы пытаетесь поставить под контроль версий, как вы хотите хранить разные версии данных, какие компоненты могут измениться. и какие компоненты не, и действительно ли у вас будет древовидная история (ветви, слияния).

Файлы HDF5 не подходят для контроля версий на основе diff в git.

git использует внутреннюю базу данных на основе хеша, поэтому можно хранить хеш вашего файла данных HDF5 без фактического сохранения самого файла. Три проекта, git-fat , git-annex и git-media , значительно упрощают этот процесс для вас. Я бы предложил использовать этот подход, если у вас есть большие, полностью независимые порции данных, которые вы хотели бы явно версии.

Если вы сможете разделить хранилище данных на энергонезависимые и нестабильные регионы, это значительно повысит эффективность вашего взаимодействия с базой данных контроля версий. Вы также можете рассмотреть возможность явного использования базы данных для ваших данных, если вам не нужны предложения git по функциям DVCS.

Арон Ахмадия
источник

Кроме того, можно управлять базами данных контроля версий, если это именно то, что вы хотите сделать, путем управления схемой версией, выгрузки базы данных в текстовый файл и управления версией результата (например, с помощью git). См. Stackoverflow.com/questions/846659/… для получения подробной информации.

Джефф Оксберри

есть также git-приложение

Memming

Я предполагаю, что я имею в виду: подходят ли файлы HDF5 для линейного сравнения, или git должен будет рассматривать HDF5 как один большой двоичный файл и хранить полную копию для каждой ревизии?

Буквальный ответ на этот вопрос заключается в том, что git не будет эффективно обрабатывать файлы HDF5.

Для получения более полезных ответов о контроле версий для проектов, имеющих некоторые двоичные файлы, см. Этот вопрос stackoverflow: /programming/540535/managing-large-binary-files-with-git

k20
источник

Как говорили другие, было бы легче сделать полезные предложения, если бы вы описали свою общую цель, а не точную техническую точку. Вот еще одно предложение, которое может помочь вам, в зависимости от вашей цели.

Проект ActivePapers ( http://www.activepapers.org/ ) предоставляет систему управления кодом и данными поверх HDF5. ActivePaper - это файл HDF5, который содержит наборы данных И код, который на них работает, с метаданными, отслеживающими, какой фрагмент кода вычислен, какой набор данных и с какими входными данными. В сочетании с контролем версий исходного кода и / или контролем версий всего файла HDF5 (с использованием инструментов, таких как git-annex, упомянутых в другом ответе), ActivePapers можно использовать для вычислений версий, а не для отдельных файлов или наборов данных.

Отказ от ответственности: я автор ActivePapers.

khinsen
источник

В настоящее время я не работаю над конкретной проблемой, но я представлял себе набор данных, в который вы, возможно, время от времени добавляете новые данные. При каждом добавлении вам, возможно, придется хранить полную копию всего набора данных, который может быть очень большим, хотя в принципе необходимо будет только хранить «diff», содержащий добавленные данные.

Томас Арилдсен

Я не знаю ни одного инструмента для выполнения операций в стиле сравнения / слияния над двоичными данными, HDF5 или другим способом. Одна интригующая идея сделать это с ActivePapers состоит в том, чтобы применить изменение, включив в файл «сценарий исправления» вместе с исходными данными. Затем вы можете проследить эволюцию данных в виде последовательности примененных исправлений. Одним из преимуществ инфраструктуры ActivePapers является то, что вы можете делать исправления в отдельном файле, ссылаясь на оригинал. Это означает, что вы можете публиковать данные и публиковать изменения (для своих и чужих данных) позже, как отдельную работу.

Хинсен