Добавьте строки в начало и конец огромного файла

У меня есть сценарий, где строки должны быть добавлены в начале и в конце огромных файлов.

Я попытался, как показано ниже.

• для первой строки:

  sed -i '1i\'"$FirstLine" $Filename

• для последней строки:

  sed -i '$ a\'"$Lastline" $Filename  

Но проблема этой команды в том, что она добавляет первую строку файла и пересекает весь файл. Для последней строки он снова пересекает весь файл и добавляет последнюю строку. Так как его очень большой файл (14 ГБ) занимает очень много времени.

Как добавить строку в начало, а другую в конец файла, читая файл только один раз?

sed -iиспользует временные файлы в качестве детали реализации, что вы и испытываете; однако, добавление данных к началу потока данных без перезаписи существующего содержимого требует перезаписи файла, нет способа обойти это, даже если этого избежать sed -i.

Если перезапись файла не является опцией, вы можете рассмотреть возможность манипулирования им, когда он читается, например:

{ echo some prepended text ; cat file ; } | command

Кроме того, sed предназначен для редактирования потоков - файл не является потоком. Используйте программу, которая предназначена для этой цели, например, ed или ex. -iВариант СЭД не только не портативный, он будет также нарушать любые символические ссылки на файл, так как он по существу удаляет его и воссоздает его, что не имеет смысла.

Вы можете сделать это одной командой ed:

ed -s file << 'EOF'
0a
prepend these lines
to the beginning
.
$a
append these lines
to the end
.
w
EOF

Обратите внимание, что в зависимости от вашей реализации ed, он может использовать файл подкачки, требующий, чтобы у вас было как минимум столько свободного места.

Обратите внимание, что если вы хотите избежать размещения всей копии файла на диске, вы можете сделать следующее:

sed '
1i\
begin
$a\
end' < file 1<> file

При этом используется тот факт, что когда его стандартный ввод / вывод является файлом, sed чтение и запись выполняется по блокам. Итак, здесь можно переопределить файл, который он читает, до тех пор, пока первая строка, которую вы добавляете, меньше sedразмера блока (это должно быть что-то вроде 4k или 8k).

Обратите внимание, что если по какой-то причине sedпроизойдет сбой (убит, сбой машины ...), вы получите половину обработанного файла, что будет означать, что некоторые данные размером с первую строку отсутствуют где-то посередине.

Также обратите внимание, что если вы sedне используете GNU sed, это не будет работать для двоичных данных (но поскольку вы используете -i, вы используете GNU sed).

Вот несколько вариантов (каждый из которых создаст новую копию файла, поэтому убедитесь, что у вас достаточно места для этого):

• простое эхо / кошка

  echo "first" > new_file; cat $File >> new_file; \
    echo "last" >> new_file; 

• awk / gawk и т. д.

  gawk 'BEGIN{print "first\n"}{print}END{print "last\n"}' $File > NewFile 

  awkи тому подобное читать файлы построчно. BEGIN{}Блок выполняется до первой строки и END{}блока после последней строки. Итак, команда выше означает print "first" at the beginning, then print every line in the file and print "last" at the end.

• Perl

  perl -ne 'BEGIN{print "first\n"} print;END{print "last\n"}' $File > NewFile

  По сути, это то же самое, что вышеописанный gawk, написанный на Perl.

Я предпочитаю гораздо проще:

gsed -i '1s/^/foo\n/gm; $s/$/\nbar/gm' filename.txt

Это преобразует файл:

asdf
qwer

в файл:

foo
asdf
qwer
bar

Вы можете использовать Vim в режиме Ex:

ex -sc '1i|ALFA' -c '$a|BRAVO' -cx file

1. 1 выберите первую строку

2. i вставить текст и перевод строки

3. $ выберите последнюю строку

4. a добавить текст и перевод строки

5. x сохранить и закрыть

Невозможно вставить данные в начало файла¹, все, что вы можете сделать, это создать новый файл, записать дополнительные данные и добавить старые данные. Таким образом, вам придется переписать весь файл хотя бы один раз, чтобы вставить первую строку. Однако вы можете добавить последнюю строку, не переписывая файл.

sed -i '1i\'"$FirstLine" $Filename
echo "$LastLine" >>$Filename

Кроме того, вы можете объединить две команды в одном запуске sed.

sed -i -e '1i\'"$FirstLine" -e '$ a\'"$Lastline" $Filename

sed -iсоздает новый выходной файл, а затем перемещает его поверх старого файла. Это означает, что во время работы sed существует вторая копия файла, занимающая место. Вы можете избежать этого, перезаписав файл на месте , но с серьезными ограничениями: добавляемая строка должна быть меньше буфера sed, и в случае сбоя системы вы получите поврежденный файл и некоторое содержимое, потерянное в средний, поэтому я настоятельно рекомендую против этого.

¹ В _{Linux есть способ вставки данных в файл, но он может вставлять только целое число блоков файловой системы, он не может вставлять строки произвольной длины. Это полезно для некоторых приложений, таких как базы данных и виртуальные машины, но бесполезно для текстовых файлов.}

$ (echo "Some Text" ; cat file1) > file2

Современные ядра Linux (выше 4.1 или 4.2) поддерживают вставку данных в начало файла с помощью fallocate()системного вызова с FALLOC_FL_INSERT_RANGEфайловыми системами ext4 и xfs. По сути, это логическая операция смещения: данные логически перемещаются с большим смещением.

Существует ограничение в отношении степени детализации диапазона, который вы хотите вставить в начало файла. Но для текстовых файлов вы, вероятно, можете выделить немного больше, чем требуется (до границы гранулярности) и заполнить пробелами или возвратом каретки, но это зависит от вашего приложения

Я не знаю ни одной доступной утилиты linux, которая манипулирует экстентами файлов, но написать ее несложно: получить дескриптор файла и вызвать fallocate()с соответствующими аргументами. Для получения дополнительной информации см. Справочную страницу fallocateсистемного вызова: http://man7.org/linux/man-pages/man2/fallocate.2.html.