Создание файла большого размера за меньшее время

Я хочу создать большой файл ~ 10G, заполненный нулями и случайными значениями. Я пытался с помощью:

dd if=/dev/urandom of=10Gfile bs=5G count=10

Он создает файл размером около 2 ГБ и выходит со статусом выхода «0». Я не понимаю, почему?

Я также попытался создать файл, используя:

head -c 10G </dev/urandom >myfile

Это займет около 28-30 минут, чтобы создать его. Но я хочу, чтобы это создавалось быстрее. У кого-нибудь есть решение?

Также я хочу создать несколько файлов с одинаковым (псевдо) случайным рисунком для сравнения. Кто-нибудь знает способ сделать это?

Как насчет использования fallocate, этот инструмент позволяет нам предварительно выделить место для файла (если файловая система поддерживает эту функцию). Например, выделив 5 ГБ данных в файл с именем «example», можно сделать:

fallocate -l 5G example

Это намного быстрее, чем dd, и очень быстро выделит место.

Вы можете использовать ddдля создания файла, состоящего исключительно из нулей. Пример:

dd if=/dev/zero of=zeros.img count=1 bs=1 seek=$((10 * 1024 * 1024 * 1024 - 1))

Это очень быстро, потому что только один байт действительно записывается на физический диск. Однако некоторые файловые системы не поддерживают это.

Если вы хотите создать файл, содержащий псевдослучайное содержимое, запустите:

dd if=/dev/urandom of=random.img count=1024 bs=10M

Я предлагаю вам использовать 10M в качестве размера буфера ( bs). Это связано с тем, что 10M не слишком велик, но все же дает хороший размер буфера. Это должно быть довольно быстро, но это всегда зависит от скорости вашего диска и вычислительной мощности.

Используя dd, это должно создать файл размером 10 ГБ, заполненный случайными данными:

dd if=/dev/urandom of=test1 bs=1M count=10240

count в мегабайтах.

Источник: stackoverflow - Как создать файл с заданным размером в Linux?

Отвечая на первую часть вашего вопроса:

Попытка записать буфер по 5 ГБ за раз не очень хорошая идея, поскольку ваше ядро, вероятно, не поддерживает это. Это не даст вам никакого выигрыша в производительности в любом случае. Написание 1M за один раз - это хороший максимум.

Этот вопрос был открыт 5 лет назад. Я просто наткнулся на это и хотел добавить свои выводы.

Если вы просто используете

dd if=/dev/urandom of=random.img count=1024 bs=10M

это будет работать значительно быстрее, как объясняет xiaodongjie. Но вы можете сделать это еще быстрее, используя eatmydataкак

eatmydata dd if=/dev/urandom of=random.img count=1024 bs=10M

Что eatmydataделает, это отключает fsync, заставляя диск записывать быстрее.

Вы можете узнать больше об этом на https://flamingspork.com/projects/libeatmydata/ .