Как сделать рекурсивный поиск / замену строки с помощью awk или sed?

Как мне найти и заменить каждое вхождение:

subdomainA.example.com

с

subdomainB.example.com

в каждом текстовом файле в /home/www/дереве каталогов рекурсивно?

find /home/www \( -type d -name .git -prune \) -o -type f -print0 | xargs -0 sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g'

-print0говорит findпечатать каждый из результатов, разделенных нулевым символом, а не новой строкой. В маловероятном случае, когда в вашем каталоге есть файлы с символами новой строки в именах, это все равно позволяет xargsработать с правильными именами файлов.

\( -type d -name .git -prune \)это выражение, которое полностью пропускает все названные каталоги .git. Вы можете легко расширить его, если вы используете SVN или у вас есть другие папки, которые вы хотите сохранить - просто сопоставьте больше имен. Это примерно эквивалентно -not -path .git, но более эффективно, потому что вместо проверки каждого файла в каталоге, он пропускает его полностью. -oПосле него требуется , потому как на -pruneсамом деле работает.

Для получения дополнительной информации см man find.

Примечание : не запускайте эту команду в папке, включающей git-репо - изменения в .git могут повредить ваш индекс git.

find /home/www/ -type f -exec \
    sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

По сравнению с другими ответами здесь это проще, чем большинство и использует sed вместо perl, что и было задано в первоначальном вопросе.

Самый простой способ для меня это

grep -rl oldtext . | xargs sed -i 's/oldtext/newtext/g'

Все трюки почти одинаковы, но мне нравится этот:

find <mydir> -type f -exec sed -i 's/<string1>/<string2>/g' {} +

• find <mydir>Посмотрите в каталоге.

• -type f:

  Тип файла: обычный файл

• -exec command {} +:

  Этот вариант действия -exec запускает указанную команду для выбранных файлов, но командная строка создается путем добавления каждого выбранного имени файла в конце; общее количество вызовов команды будет намного меньше, чем количество совпадающих файлов. Командная строка создается во многом так же, как xargs создает свои командные строки. В команде допускается только один экземпляр `{} '. Команда выполняется в начальном каталоге.

cd /home/www && find . -type f -print0 |
  xargs -0 perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g'

Для меня самое простое решение запомнить это https://stackoverflow.com/a/2113224/565525 , то есть:

sed -i '' -e 's/subdomainA/subdomainB/g' $(find /home/www/ -type f)

ПРИМЕЧАНИЕ : -i ''решает проблему OSXsed: 1: "...": invalid command code .

ПРИМЕЧАНИЕ . Если файлов слишком много для обработки, вы получите Argument list too long. Обходной путь - использование find -execили xargsрешение, описанное выше.

Для тех, кто использует серебряный искатель ( ag)

ag SearchString -l0 | xargs -0 sed -i 's/SearchString/Replacement/g'

Так как ag по умолчанию игнорирует файл / папки git / hg / svn, запуск в репозитории безопасен.

Один хороший приятель в качестве дополнительного. Используя git grep.

git grep -lz 'subdomainA.example.com' | xargs -0 perl -i'' -pE "s/subdomainA.example.com/subdomainB.example.com/g"

Чтобы сократить количество файлов для рекурсивного sedпрохождения, вы можете grepдля своего экземпляра строки:

grep -rl <oldstring> /path/to/folder | xargs sed -i s^<oldstring>^<newstring>^g

Если вы запустите, man grepвы заметите, что вы также можете определить --exlude-dir="*.git"флаг, если хотите исключить поиск по каталогам .git, избегая проблем с индексами git, как вежливо указали другие.

Ведущий к вам:

grep -rl --exclude-dir="*.git" <oldstring> /path/to/folder | xargs sed -i s^<oldstring>^<newstring>^g

Это совместимо с git-репозиториями и немного проще:

Linux:

git grep -l 'original_text' | xargs sed -i 's/original_text/new_text/g'

Mac:

git grep -l 'original_text' | xargs sed -i '' -e 's/original_text/new_text/g'

(Спасибо http://blog.jasonmeridth.com/posts/use-git-grep-to-replace-strings-in-files-in-your-git-repository/ )

find /home/www/ -type f -exec perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

find /home/www/ -type f перечислит все файлы в / home / www / (и его подкаталогах). Флаг «-exec» указывает find выполнять следующую команду для каждого найденного файла.

perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g' {} +

команда запускается для файлов (много за раз). {}Заменяется именами файлов. В +конце команды указывается findпостроить одну команду для многих имен файлов.

На findстранице man: «Командная строка создается так же, как xargs создает свои командные строки».

Таким образом, можно достичь своей цели (и обрабатывать имена файлов, содержащие пробелы) без использования xargs -0, или -print0.

Я просто нуждался в этом и не был доволен скоростью доступных примеров. Итак, я придумал свое:

cd /var/www && ack-grep -l --print0 subdomainA.example.com | xargs -0 perl -i.bak -pe 's/subdomainA\.example\.com/subdomainB.example.com/g'

Ack-grep очень эффективен при поиске соответствующих файлов. Эта команда заменила ~ 145 000 файлов на ветер, тогда как другие заняли так много времени, что я не мог дождаться, пока они закончат.

Прямой метод, если вам нужно исключить directoryies ( --exclude-dir=.svn), а также иметь имена файлов с пробелами (используя 0Byte с grep -Zиxargs -0

grep -rlZ oldtext . --exclude-dir=.svn | xargs -0 sed -i 's/oldtext/newtext/g'

Самый простой способ заменить ( все файлы, каталог, рекурсивный )

find . -type f -not -path '*/\.*' -exec sed -i 's/foo/bar/g' {} +

Примечание: иногда вам может понадобиться игнорировать некоторые скрытые файлы, т.е. .gitвы можете использовать приведенную выше команду.

Если вы хотите включить скрытые файлы, используйте,

find . -type f  -exec sed -i 's/foo/bar/g' {} +

В обоих случаях строка fooбудет заменена новой строкойbar

grep -lr 'subdomainA.example.com' | while read file; do sed -i "s/subdomainA.example.com/subdomainB.example.com/g" "$file"; done

Я предполагаю, что большинство людей не знают, что они могут передать что-то в «время чтения файла», и это позволяет избежать этих неприятных аргументов -print0, сохраняя пробелы в именах файлов.

Дальнейшее добавление echoдо sed позволяет вам увидеть, какие файлы будут изменены, прежде чем делать это.

Вы можете использовать awk, чтобы решить эту проблему, как показано ниже,

for file in `find /home/www -type f`
do
   awk '{gsub(/subdomainA.example.com/,"subdomainB.example.com"); print $0;}' $file > ./tempFile && mv ./tempFile $file;
done

Надеюсь, что это поможет вам !!!

Попробуй это:

sed -i 's/subdomainA/subdomainB/g' `grep -ril 'subdomainA' *`

#!/usr/local/bin/bash -x

find * /home/www -type f | while read files
do

sedtest=$(sed -n '/^/,/$/p' "${files}" | sed -n '/subdomainA/p')

    if [ "${sedtest}" ]
    then
    sed s'/subdomainA/subdomainB/'g "${files}" > "${files}".tmp
    mv "${files}".tmp "${files}"
    fi

done

Согласно этому сообщению в блоге:

find . -type f | xargs perl -pi -e 's/oldtext/newtext/g;'

Если вы не возражаете против использования vimвместе с инструментами grepили find, вы можете следить за ответом, данным пользователем Gert в этой ссылке -> Как выполнить замену текста в большой иерархии папок?,

Вот сделка:

• рекурсивно grep для строки, которую вы хотите заменить в определенном пути, и взять только полный путь соответствующего файла. (это было бы $(grep 'string' 'pathname' -Rl).

• (необязательно), если вы хотите сделать предварительное резервное копирование этих файлов в централизованном каталоге, возможно, вы также можете использовать это: cp -iv $(grep 'string' 'pathname' -Rl) 'centralized-directory-pathname'

• после этого вы можете редактировать / заменять по желанию в vimсоответствии со схемой, аналогичной той, которая указана в приведенной ссылке:

  • :bufdo %s#string#replacement#gc | update

Немного старой школы, но это работало на OS X.

Есть несколько хитростей:

• Будет редактировать только файлы с расширением .slsв текущем каталоге

• .должен быть экранирован, чтобы гарантировать, что sedон не оценивается как «любой персонаж»

• ,используется в качестве sedразделителя вместо обычного/

Также обратите внимание, что это нужно отредактировать шаблон Jinja для передачи variableпо пути import(но это не по теме).

Во-первых, убедитесь, что ваша команда sed делает то, что вы хотите (это только напечатает изменения в stdout, но не изменит файлы):

for file in $(find . -name *.sls -type f); do echo -e "\n$file: "; sed 's,foo\.bar,foo/bar/\"+baz+\"/,g' $file; done

При необходимости измените команду sed, как только вы будете готовы внести изменения:

for file in $(find . -name *.sls -type f); do echo -e "\n$file: "; sed -i '' 's,foo\.bar,foo/bar/\"+baz+\"/,g' $file; done

Обратите внимание на -i ''команду sed , я не хотел создавать резервную копию исходных файлов (как объяснено в Редактировании на месте с помощью sed в OS X или в комментарии Роберта Лужо на этой странице).

С днем ​​рождения!

просто, чтобы избежать также изменить

• NearlysubdomainA.example.com
• subdomainA.example.comp.other

но все равно

• subdomainA.example.com.IsIt.good

(может быть, не очень хорошая идея для корневого домена)

find /home/www/ -type f -exec sed -i 's/\bsubdomainA\.example\.com\b/\1subdomainB.example.com\2/g' {} \;

Я просто использую топы:

find . -name '*.[c|cc|cp|cpp|m|mm|h]' -print0 |  xargs -0 tops -verbose  replace "verify_noerr(<b args>)" with "__Verify_noErr(<args>)" \
replace "check(<b args>)" with "__Check(<args>)" 

Вот версия, которая должна быть более общей, чем большинство; это не требует find(используя duвместо этого), например. Это требует xargs, которые встречаются только в некоторых версиях Plan 9 (например, 9front).

 du -a | awk -F' '  '{ print $2 }' | xargs sed -i -e 's/subdomainA\.example\.com/subdomainB.example.com/g'

Если вы хотите добавить фильтры, такие как расширения файлов, используйте grep:

 du -a | grep "\.scala$" | awk -F' '  '{ print $2 }' | xargs sed -i -e 's/subdomainA\.example\.com/subdomainB.example.com/g'

Для Qshell (qsh) в IBMi, а не bash, как отмечено OP.

Ограничения команд qsh:

• find не имеет опции -print0
• xargs не имеет опции -0
• у sed нет опции -i

Таким образом, решение в qsh:

    PATH='your/path/here'
    SEARCH=\'subdomainA.example.com\'
    REPLACE=\'subdomainB.example.com\'

    for file in $( find ${PATH} -P -type f ); do

            TEMP_FILE=${file}.${RANDOM}.temp_file

            if [ ! -e ${TEMP_FILE} ]; then
                    touch -C 819 ${TEMP_FILE}

                    sed -e 's/'$SEARCH'/'$REPLACE'/g' \
                    < ${file} > ${TEMP_FILE}

                    mv ${TEMP_FILE} ${file}
            fi
    done

Предостережения:

• Решение исключает обработку ошибок
• Не Bash как отмечено OP

Если вы хотите использовать это без полного уничтожения вашего SVN-репозитория, вы можете указать 'find' игнорировать все скрытые файлы, выполнив:

find . \( ! -regex '.*/\..*' \) -type f -print0 | xargs -0 sed -i 's/subdomainA.example.com/subdomainB.example.com/g'

Используя комбинацию grepиsed

for pp in $(grep -Rl looking_for_string)
do
    sed -i 's/looking_for_string/something_other/g' "${pp}"
done

Для замены всех вхождений в git-репозитории вы можете использовать:

git ls-files -z | xargs -0 sed -i 's/subdomainA\.example\.com/subdomainB.example.com/g'

Смотрите список файлов в локальном git-репо? для других опций вывести список всех файлов в хранилище. Опция -zуказывает git разделять имена файлов нулевым байтом, что гарантирует xargs(с помощью опции -0) возможность разделять имена файлов, даже если они содержат пробелы или еще много чего.

perl -p -i -e 's/oldthing/new_thingy/g' `grep -ril oldthing *`

изменить несколько файлов (и сохранить резервную копию как *.bak):

perl -p -i -e "s/\|/x/g" *

возьмет все файлы в каталоге и заменит |x на «Perl pie» (просто как пирог)