Как создать файл из терминала, повторяя набор слов бесконечно?

Как создать файл из терминала, повторяя набор слов бесконечно? Мне нужно создать огромный файл для разбора, размером 2-4 ГБ. В настоящее время я вручную копирую вставки строк в тот же файл, чтобы увеличить размер.

Есть простой способ повторить строку много раз:

yes we have no bananas | head -n 10000 > out.txt

приведет к тому, что out.txt будет содержать 10 000 строк со словами «у нас нет бананов».

Чтобы ограничить вывод точным числом байтов, используйте параметр head' -cвместо' -n. Например, это генерирует ровно 10 КБ текста:

yes we have no bananas | head -c 10000 > out.txt

Я не могу рекомендовать бесконечно повторяющийся текст, но вы можете сделать ~ 2ГБ файл повторяющегося текста с помощью Python, например ...

python3 -c 'with open("bigfile", "w") as f: f.write(("hello world "*10+"\n")*2*10**7)'

Это напечатает «привет мир» 10 раз и создаст новую строку, и повторите это 20 000 000 раз, записав результат в файл bigfile. Если все ваши символы являются ASCII, то каждый из них по одному байту, поэтому рассчитайте соответственно, в зависимости от того, что вы хотите написать ...

Ваш процессор может быть в собственности. У меня не хватает оперативной памяти, если я пытаюсь выполнить более 10 000 000 строк ...

_{Хотя я бегу за тостером}

Perl имеет отличный xоператор:

$ perl -e 'print "foo\n" x 5'
foo
foo
foo
foo
foo

Таким образом, в качестве простого решения вы можете написать свою строку несколько миллионов раз. Например, эта команда создала файл 3G:

perl -e 'print "This is my line\n" x 200000000' > file

Если вам нужно указать точный размер (в данном случае 2 ГиБ), вы можете сделать:

perl -e 'use bytes; while(length($str)<2<<20){ $str.="This is my line\n"} print "$str\n"' > file

• Поместите набор слов для повторения в файл, например source.txt. Получите размер source.txt, в байтах, например:

   stat -c '%s' source.txt
  

• Определите размер файла назначения, например destination.txt, 2 ГБ или 4 ГБ или любой другой. Преобразовать размер в байтах.

• Разделите размер файла назначения на размер исходного файла. bashне может делать арифметику с плавающей запятой, но в этом случае она не нужна.

• Используйте forконструкцию, чтобы повторить cat source.txtоперацию с результатом деления. Это будет ближайший примерный размер файла назначения, который вы можете получить повторением. Результат операции сохраняется в destination.txt.

Например, предполагая, что source.txtэто 30 байтов, и мы хотим создать файл размером 2 ГБ, нам нужно:

for ((i=0; i<=((16777216/30)); i++)); do cat source.txt; done >destination.txt

Здесь я устанавливаю верхний предел ((16777216/30))во время инициализации; Вы можете получить результат и поставить его здесь.

Операция займет некоторое время; чем больше source.txt, тем меньше времени потребуется.

Вы также можете использовать while-loop.

Пример: Содержимое foo.txt(это ваш источник):

foo
bar
foobar

bar.txtпуст (это ваш целевой файл). Теперь вы можете выполнить следующий цикл, чтобы записать содержимое foo.txtнесколько раз в bar.txt:

while [ $(stat --format "%s" bar.txt) -lt 150 ] 
do 
    cat foo.txt >> bar.txt
done

Объяснение:

• stat --format "%s" bar.txtотображает размер bar.txtв байтах.
• while [ $(stat --format "%s" bar.txt) -lt 150 ] Следующие действия будут повторяться до тех пор, пока не будет достигнут целевой размер (в данном случае 150 байтов).
• cat foo.txt >> bar.txtдобавить содержимое foo.txtкbar.txt

Сначала стреляйте по команде:

dd if=/dev/urandom of=file.txt bs=2048 count=10

создаст файл по пути размером bs * count случайных байтов, в нашем случае 2048 * 10 = 20Kb. это может быть изменено согласно требованию.

cat - > file.txt

Эта команда перенаправляет STDIN в файл, поэтому вам нужно будет ввести две строки и затем нажать Ctrl + D. Затем вам нужно будет выполнить следующую команду:

for i in {1..n}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Где n - целое число Это создаст файл с 2 ^ (n + 1) строками, дублируя ваши исходные две строки. Итак, чтобы создать файл из 16 строк, вы должны сделать:

for i in {1..3}; do cat file.txt file.txt > file2.txt && mv file2.txt file.txt; done

Вот еще несколько цифр, чтобы вы начали:

n=15 will give you 65536 lines (if the original two lines were 'hello' and 'world' the file will be 384Kb)
n=20 will give you 2097152 lines (12Mb file with 'hello' and 'world' as the two starting lines)
n=25 will give you 67108864 lines (384Mb file with 'hello' and 'world' as the two starting lines)

FIFO, вероятно, то, что вы ищете. Вместо того, чтобы вызывать вашу программу с заданным файлом, вы можете привязать к ней результат команды оболочки через подстановку процесса, и программа увидит ее вывод в виде открытого текста. Преимущество здесь в том, что вы больше не ограничены дисковым пространством, поэтому вы можете получить размер файла, который был бы невозможен в противном случае, если вашей программе не нужно сначала буферизовать весь файл, а просто проанализировать его построчно. Например, используя ответ @hobbs для генерации контента:

wc -c <(yes we have no bananas | head -n 5000000000)

Это дает мне файл объемом 95 гигабайт (в соответствии с wc) бесплатно в пространстве жесткого диска и практически без оперативной памяти, достаточной для буферизации того, что команда возвращает до того, как ее прочитают. Это примерно так же близко к «бесконечно», как вы собираетесь получить.