Как быстро создать большой файл в системе Linux ( Red Hat Linux )?

dd выполнит эту работу, но чтение /dev/zeroи запись на диск могут занять много времени, когда вам нужен файл размером в несколько сотен гигабайт для тестирования ... Если вам нужно делать это несколько раз, время действительно увеличивается.

Меня не волнует содержимое файла, я просто хочу, чтобы он был создан быстро. Как это может быть сделано?

Использование разреженного файла не будет работать для этого. Мне нужно, чтобы файл был выделен на диске.

ddИз других ответов это хорошее решение, но оно медленное для этой цели. В Linux (и других системах POSIX) у нас fallocate, который использует желаемое пространство без необходимости его фактической записи, очень быстро работает с большинством современных дисковых файловых систем:

Например:

fallocate -l 10G gentoo_root.img

Это общий вопрос, особенно в современной среде виртуальных сред. К сожалению, ответ не так прост, как можно предположить.

dd - очевидный первый выбор, но dd по сути является копией, и это заставляет вас записывать каждый блок данных (таким образом, инициализируя содержимое файла) ... И эта инициализация занимает столько времени ввода-вывода. (Хотите, чтобы это заняло еще больше времени? Используйте / dev / random вместо / dev / zero ! Тогда вы будете использовать процессор, а также время ввода-вывода!) В конце концов, dd - плохой выбор (хотя по сути по умолчанию используется ВМ "создать" GUI). Например:

dd if=/dev/zero of=./gentoo_root.img bs=4k iflag=fullblock,count_bytes count=10G

truncate - это другой выбор - и, вероятно, самый быстрый ... Но это потому, что он создает «разреженный файл». По сути, разреженный файл - это раздел диска, который содержит много одинаковых данных, и лежащая в основе файловая система «обманывает», на самом деле не сохраняя все данные, а просто «делая вид», что все это есть. Таким образом, когда вы используете усечение для создания 20 ГБ диска для вашей виртуальной машины, файловая система фактически не выделяет 20 ГБ, но обманывает и говорит, что там есть 20 ГБ нулей, хотя всего одна дорожка на диске может фактически (действительно) использоваться. Например:

 truncate -s 10G gentoo_root.img

fallocate является окончательным - и лучший - выбор для использования с выделением диска VM, потому что она по существу «резервы» (или «выделяет» все пространства вы ищете, но это не мешает писать что - либо так,. когда вы используете Fallocate для создания виртуального дискового пространства объемом 20 ГБ, вы действительно получаете файл размером 20 ГБ (а не «разреженный файл»), и вам не нужно будет ничего записывать в него - это означает, что практически все может быть в там - вроде как новый диск!) Например:

fallocate -l 10G gentoo_root.img

Linux и все файловые системы

xfs_mkfile 10240m 10Gigfile

Linux & и некоторые файловые системы (ext4, xfs, btrfs и ocfs2)

fallocate -l 10G 10Gigfile

OS X, Solaris, SunOS и, возможно, другие UNIX

mkfile 10240m 10Gigfile

HP-UX

prealloc 10Gigfile 10737418240

объяснение

Попробуйте mkfile <size>myfile в качестве альтернативы dd. С помощью -nопции размер указывается, но дисковые блоки не выделяются до тех пор, пока в них не будут записаны данные. Без -nопции пространство заполняется нулями, что означает запись на диск, что означает, что нужно время.

mkfile является производным от SunOS и доступен не везде. Большинство систем Linux xfs_mkfileработают точно так же, и не только в файловых системах XFS, несмотря на название. Он включен в xfsprogs (для Debian / Ubuntu) или аналогичные именованные пакеты.

Большинство систем Linux также имеют fallocate, которая работает только на определенных файловых системах (таких как btrfs, ext4, ocfs2 и xfs), но является самой быстрой, поскольку она выделяет все файловое пространство (создает файлы без дыр), но не инициализирует какие-либо этого

truncate -s 10M output.file

создаст файл размером 10 М мгновенно (M означает 1024 * 1024 байта, MB означает 1000 * 1000 - то же самое с K, KB, G, GB ...)

РЕДАКТИРОВАТЬ: как многие отмечали, это не будет физически распределять файл на вашем устройстве. При этом вы можете создать произвольный большой файл независимо от доступного места на устройстве, поскольку он создает «разреженный» файл.

Таким образом, при этом вы будете откладывать физическое распределение до получения доступа к файлу. Если вы отображаете этот файл в память, у вас может не быть ожидаемой производительности.

Но это все еще полезная команда, чтобы знать,

Где искать - это размер файла, который вы хотите в байтах - 1.

dd if=/dev/zero of=filename bs=1 count=1 seek=1048575

Примеры, где искать это размер файла, который вы хотите в байтах

#kilobytes
dd if=/dev/zero of=filename bs=1 count=0 seek=200K

#megabytes
dd if=/dev/zero of=filename bs=1 count=0 seek=200M

#gigabytes
dd if=/dev/zero of=filename bs=1 count=0 seek=200G

#terabytes
dd if=/dev/zero of=filename bs=1 count=0 seek=200T

Из справочной страницы дд:

За блоками и байтами могут следовать следующие мультипликативные суффиксы: c = 1, w = 2, b = 512, кБ = 1000, K = 1024, MB = 1000 * 1000, M = 1024 * 1024, GB = 1000 * 1000 * 1000, G = 1024 * 1024 * 1024 и т. Д. Для T, P, E, Z, Y.

Чтобы сделать файл размером 1 ГБ:

dd if=/dev/zero of=filename bs=1G count=1

Я не очень много знаю о Linux, но вот код C, который я написал, чтобы подделать огромные файлы на DC Share много лет назад.

#include < stdio.h >
#include < stdlib.h >

int main() {
    int i;
    FILE *fp;

    fp=fopen("bigfakefile.txt","w");

    for(i=0;i<(1024*1024);i++) {
        fseek(fp,(1024*1024),SEEK_CUR);
        fprintf(fp,"C");
    }
}

Вы также можете использовать команду «да». Синтаксис довольно прост:

#yes >> myfile

Нажмите «Ctrl + C», чтобы остановить это, иначе он съест все ваше доступное пространство.

Для очистки этого файла запустите:

#>myfile

очистит этот файл.

Я не думаю, что вы получите намного быстрее, чем дд. Узким местом является диск; запись сотен гигабайт данных займет много времени, независимо от того, как вы это делаете.

Но вот возможность, которая может работать для вашего приложения. Если вас не волнует содержимое файла, как насчет создания «виртуального» файла, содержимое которого является динамическим выводом программы? Вместо открытия () файла, используйте popen (), чтобы открыть канал для внешней программы. Внешняя программа генерирует данные всякий раз, когда это необходимо. Когда канал открыт, он действует как обычный файл, поскольку программа, открывшая канал, может использовать fseek (), rewind () и т. Д. Вам нужно будет использовать pclose () вместо close (), когда вы сделано с трубой.

Если вашему приложению нужен файл определенного размера, то внешняя программа сможет отследить, где он находится в «файле», и отправить eof, когда достигнут «конец».

Один из подходов: если вы можете гарантировать, что несвязанные приложения не будут использовать файлы конфликтующим образом, просто создайте пул файлов разного размера в определенном каталоге, а затем создайте ссылки на них при необходимости.

Например, есть пул файлов с именем:

• / Главная / bigfiles / 512M-A
• / Главная / bigfiles / 512M-B
• / Главная / bigfiles / 1024M-A
• / Главная / bigfiles / 1024M-B

Затем, если у вас есть приложение, которому нужен файл 1G с именем / home / oracle / logfile, выполните « ln /home/bigfiles/1024M-A /home/oracle/logfile».

Если он находится в отдельной файловой системе, вам придется использовать символическую ссылку.

Файлы A / B / etc могут использоваться для предотвращения конфликтного использования между несвязанными приложениями.

Операция со ссылками идет так быстро, как вы можете получить.

GPL-файл mkfile - это просто (ba) sh скрипт-оболочка для dd; Mkfile из BSD просто устанавливает буфер с ненулевым значением и записывает его повторно. Я не ожидал бы, что первый превзойдет дд. Последний может слегка вытеснить dd, если = / dev / zero, так как он пропускает чтение, но все, что значительно лучше, вероятно, просто создает разреженный файл.

При отсутствии системного вызова, который фактически выделяет пространство для файла без записи данных (а в Linux и BSD этого нет, возможно, и в Solaris), вы можете получить небольшое улучшение производительности, используя ftrunc (2) / truncate (1) для расширения файла до нужного размера mmap файл в память, затем запись ненулевых данных в первые байты каждого блока диска (используйте fgetconf, чтобы найти размер блока диска).

Бесстыдный плагин: OTFFS предоставляет файловую систему, предоставляющую произвольно большие (ну, почти. Exabytes - текущий предел) файлы сгенерированного контента. Это только для Linux, обычный C и ранняя альфа.

Смотрите https://github.com/s5k6/otffs .

Это самое быстрое, что я мог сделать (что не быстро) со следующими ограничениями:

• Цель большого файла - заполнить диск, поэтому его нельзя сжать.
• Использование файловой системы ext3. ( fallocateнедоступно)

Это суть этого ...

// include stdlib.h, stdio.h, and stdint.h
int32_t buf[256]; // Block size.
for (int i = 0; i < 256; ++i)
{
    buf[i] = rand(); // random to be non-compressible.
}
FILE* file = fopen("/file/on/your/system", "wb");
int blocksToWrite = 1024 * 1024; // 1 GB
for (int i = 0; i < blocksToWrite; ++i)
{
   fwrite(buf, sizeof(int32_t), 256, file);
}

В нашем случае это для встроенной системы Linux, и она работает достаточно хорошо, но предпочла бы что-то быстрее.

К вашему сведению, команда dd if=/dev/urandom of=outputfile bs=1024 count = XXбыла настолько медленной, что ее нельзя было использовать.