Добавлять огромные файлы друг к другу, не копируя их

Есть 5 огромных файлов (file1, file2, .. file5) по 10G каждый и на диске осталось очень мало свободного места, и мне нужно объединить все эти файлы в один. Сохранять оригинальные файлы не нужно, только конечный.

Обычная конкатенация происходит catпоследовательно для файлов file2.. file5:

cat file2 >> file1 ; rm file2

К сожалению, этот способ требует как минимум 10G свободного места, которого у меня нет. Есть ли способ объединить файлы без фактического копирования, но как-то сказать файловой системе, что file1 не заканчивается в конце file1 и продолжается в начале file2?

пс. файловая система ext4, если это имеет значение.

AFAIK (к сожалению) невозможно обрезать файл с самого начала (это может быть верно для стандартных инструментов, но для уровня системного вызова см. Здесь ). Но с добавлением некоторой сложности вы можете использовать обычное усечение (вместе с разреженными файлами): вы можете записать в конец целевого файла, не записав все данные между ними.

Предположим сначала, что оба файла имеют размер 5 ГБ (5120 МБ) и что вы хотите переместить 100 МБ за раз. Вы выполняете цикл, который состоит из

1. копирование одного блока из конца исходного файла в конец целевого файла (увеличение занимаемого дискового пространства)

2. усечение исходного файла на один блок (освобождение дискового пространства)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Но сначала попробуйте меньшие тестовые файлы, пожалуйста ...

Вероятно, файлы не одинакового размера и не кратны размеру блока. В этом случае расчет смещений становится более сложным. seek_bytesи skip_bytesдолжен быть использован тогда.

Если вы хотите идти по этому пути, но вам нужна помощь для уточнения деталей, спросите еще раз.

Предупреждение

В зависимости от ddразмера блока результирующий файл будет кошмаром фрагментации.

Вместо того, чтобы объединять файлы в один файл, возможно, имитируйте один файл с именованным каналом, если ваша программа не может обрабатывать несколько файлов.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Как предполагает Хауке, losttup / dmsetup также может работать. Быстрый эксперимент; Я создал 'file1..file4' и, приложив немного усилий, сделал:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Затем / dev / dm-0 содержит виртуальное блочное устройство с вашим файлом в качестве содержимого.

Я не проверял это хорошо.

Другое редактирование: размер файла должен делиться равномерно на 512, иначе вы потеряете некоторые данные. Если это так, то ты в порядке. Я вижу, он также отметил это ниже.

Вам нужно будет написать что-то, что копирует данные в пакеты, которые не превышают объем свободного места, который у вас есть. Это должно работать так:

• Считать блок данных file2(используя pread()поиск до чтения в правильном месте).
• Добавить блок в file1.
• Используйте, fcntl(F_FREESP)чтобы освободить место от file2.
• Повторение

Я знаю, что это скорее обходной путь, чем то, что вы просили, но он позаботится о вашей проблеме (и с небольшой фрагментацией или потертостью):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

а потом

#step 2:
cat file* > /the/new/fs/fullfile

или, если вы думаете, что сжатие поможет:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Тогда (и ТОЛЬКО тогда), наконец,

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it