Выполнить команду для всех файлов в каталоге

Может ли кто-нибудь предоставить код для выполнения следующих действий: Предположим, что существует каталог файлов, все из которых необходимо запустить через программу. Программа выводит результаты на стандартный вывод. Мне нужен скрипт, который войдет в каталог, выполнит команду для каждого файла и объединит вывод в один большой выходной файл.

Например, чтобы запустить команду для 1 файла:

$ cmd [option] [filename] > results.out

Следующий код bash передаст $ file команде, где $ file будет представлять каждый файл в / dir

for file in /dir/*
do
  cmd [option] "$file" >> results.out
done

пример

el@defiant ~/foo $ touch foo.txt bar.txt baz.txt
el@defiant ~/foo $ for i in *.txt; do echo "hello $i"; done
hello bar.txt
hello baz.txt
hello foo.txt

Как насчет этого:

find /some/directory -maxdepth 1 -type f -exec cmd option {} \; > results.out

• -maxdepth 1Аргумент предотвращает рекурсивный поиск find в любых подкаталогах. (Если вы хотите, чтобы такие вложенные каталоги обрабатывались, вы можете пропустить это.)
• -type -f указывает, что будут обрабатываться только простые файлы.
• -exec cmd option {}говорит ему запускаться cmdс указанным optionдля каждого найденного файла, с заменой имени файла на{}
• \; обозначает конец команды.
• Наконец, выходные данные всех отдельных cmdисполнений перенаправляются на results.out

Однако, если вы заботитесь о порядке обработки файлов, вам лучше написать цикл. Я думаю, что findобрабатывает файлы в порядке inode (хотя я могу ошибаться в этом), что может не соответствовать вашим ожиданиям.

Я делаю это на моем Raspberry Pi из командной строки, выполнив:

for i in *;do omxplayer "$i";done

Принятые / высоко оцененные ответы великолепны, но в них отсутствуют некоторые мелкие детали. В этом посте рассматриваются случаи, как лучше справляться с неудачным раскрытием имени оболочки (glob), когда имена файлов содержат встроенные символы новой строки / тире и перемещение направления вывода команды из цикла for при записи результатов в файл.

При запуске расширения оболочки glob с использованием *существует возможность сбоя раскрытия, если в каталоге нет файлов, а в команду, которая будет запущена, будет передана нераскрытая строка глобуса, что может привести к нежелательным результатам. bashОболочка обеспечивает расширенный вариант оболочки для этого с помощью nullglob. Таким образом, цикл в основном выглядит следующим образом внутри каталога, содержащего ваши файлы

 shopt -s nullglob

 for file in ./*; do
     cmdToRun [option] -- "$file"
 done

Это позволяет безопасно выйти из цикла for, когда выражение ./*не возвращает никаких файлов (если каталог пуст)

или совместимым образом POSIX ( nullglobэто bashспецифический)

 for file in ./*; do
     [ -f "$file" ] || continue
     cmdToRun [option] -- "$file"
 done

Это позволяет вам войти в цикл, когда выражение не выполнится один раз, и [ -f "$file" ]проверить условие, является ли нераскрытая строка ./*допустимым именем файла в этом каталоге, чего не было бы. Таким образом, в этом случае сбой, используя, continueмы возвращаемся к forциклу, который не будет выполняться в дальнейшем

Также обратите внимание на использование --перед передачей аргумента имени файла. Это необходимо, потому что, как отмечалось ранее, имена файлов оболочки могут содержать тире в любом месте имени файла. Некоторые из команд оболочки интерпретируют это и рассматривают их как параметр команды, когда имя не указано правильно в кавычках, и выполняют команду, думая, если указан флаг.

В этом случае --сигнализирует об окончании параметров командной строки, что означает, что команда не должна анализировать любые строки за этой точкой как флаги команды, а только как имена файлов.

Двойные кавычки имен файлов правильно решают случаи, когда имена содержат символы глобуса или пробелы. Но имена файлов * nix также могут содержать в себе новые строки. Таким образом, мы ограничиваем имена файлов единственным символом, который не может быть частью действительного имени файла - null byte ( \0). Поскольку bashвнутренне используются Cстроки стиля, в которых нулевые байты используются для обозначения конца строки, это правильный кандидат для этого.

Таким образом, используя printfопцию оболочки для разделения файлов с этим нулевым байтом, используя -dопцию readкоманды, мы можем сделать ниже

( shopt -s nullglob; printf '%s\0' ./* ) | while read -rd '' file; do
    cmdToRun [option] -- "$file"
done

Символы nullgloband printfи обернуты вокруг, (..)что означает, что они в основном выполняются в под-оболочке (дочерняя оболочка), потому что, чтобы избежать nullglobвозможности отразить на родительской оболочке, после завершения команды. -d ''Вариант readкоманды является не POSIX совместимым, поэтому нуждается в bashоболочке для этого нужно сделать. С помощью findкоманды это можно сделать как

while IFS= read -r -d '' file; do
    cmdToRun [option] -- "$file"
done < <(find -maxdepth 1 -type f -print0)

Для findреализаций, которые не поддерживают -print0(кроме реализаций GNU и FreeBSD), это можно эмулировать с помощьюprintf

find . -maxdepth 1 -type f -exec printf '%s\0' {} \; | xargs -0 cmdToRun [option] --

Другим важным исправлением является перемещение направления из цикла for, чтобы уменьшить количество файловых операций ввода-вывода. При использовании внутри цикла оболочка должна выполнять системные вызовы дважды для каждой итерации цикла for, один раз для открытия и один раз для закрытия дескриптора файла, связанного с файлом. Это станет узким местом для вашей производительности при выполнении больших итераций. Рекомендуемое предложение - переместить его за пределы цикла.

Расширяя приведенный выше код с помощью этих исправлений, вы можете сделать

( shopt -s nullglob; printf '%s\0' ./* ) | while read -rd '' file; do
    cmdToRun [option] -- "$file"
done > results.out

который будет в основном помещать содержимое вашей команды для каждой итерации ввода вашего файла в стандартный вывод, а когда цикл завершится, откройте целевой файл один раз для записи содержимого стандартного вывода и его сохранения. Эквивалентная findверсия того же

while IFS= read -r -d '' file; do
    cmdToRun [option] -- "$file"
done < <(find -maxdepth 1 -type f -print0) > results.out

Один быстрый и грязный способ, который иногда выполняет свою работу:

find directory/ | xargs  Command 

Например, чтобы найти количество строк во всех файлах в текущем каталоге, вы можете сделать:

find . | xargs wc -l

Мне нужно было скопировать все файлы .md из одного каталога в другой, так что вот что я сделал.

for i in **/*.md;do mkdir -p ../docs/"$i" && rm -r ../docs/"$i" && cp "$i" "../docs/$i" && echo "$i -> ../docs/$i"; done

Который довольно трудно читать, поэтому давайте разберем его.

сначала перейдите в каталог с вашими файлами,

for i in **/*.md; для каждого файла в вашем шаблоне

mkdir -p ../docs/"$i"сделайте этот каталог в папке docs вне папки, содержащей ваши файлы. Который создает дополнительную папку с тем же именем, что и этот файл.

rm -r ../docs/"$i" удалить лишнюю папку, созданную в результате mkdir -p

cp "$i" "../docs/$i" Скопируйте фактический файл

echo "$i -> ../docs/$i" Эхо, что ты сделал

; done Жить долго и счастливо

Ты можешь использовать xarg

ls | xargs -L 1 -d '\n' your-desired-command

-L 1 вызывает пропуск 1 предмет за раз

-d '\n'сделать вывод из lssplit'ed на основе новой строки.

Основываясь на подходе @Jim Lewis:

Вот быстрое решение, использующее findи сортирующее файлы по дате их изменения:

$ find  directory/ -maxdepth 1 -type f -print0 | \
  xargs -r0 stat -c "%y %n" | \
  sort | cut -d' ' -f4- | \
  xargs -d "\n" -I{} cmd -op1 {} 

Для сортировки смотрите:

http://www.commandlinefu.com/commands/view/5720/find-files-and-list-them-sorted-by-modification-time

я думаю, что простое решение:

sh /dir/* > ./result.txt

Максимальная глубина

Я нашел, что это хорошо работает с ответом Джима Льюиса, просто добавьте немного так:

$ export DIR=/path/dir && cd $DIR && chmod -R +x *
$ find . -maxdepth 1 -type f -name '*.sh' -exec {} \; > results.out

Порядок сортировки

Если вы хотите выполнить в порядке сортировки, измените его следующим образом:

$ export DIR=/path/dir && cd $DIR && chmod -R +x *
find . -maxdepth 2 -type f -name '*.sh' | sort | bash > results.out

Просто для примера, это будет выполнено в следующем порядке:

bash: 1: ./assets/main.sh
bash: 2: ./builder/clean.sh
bash: 3: ./builder/concept/compose.sh
bash: 4: ./builder/concept/market.sh
bash: 5: ./builder/concept/services.sh
bash: 6: ./builder/curl.sh
bash: 7: ./builder/identity.sh
bash: 8: ./concept/compose.sh
bash: 9: ./concept/market.sh
bash: 10: ./concept/services.sh
bash: 11: ./product/compose.sh
bash: 12: ./product/market.sh
bash: 13: ./product/services.sh
bash: 14: ./xferlog.sh

Неограниченная глубина

Если вы хотите выполнить на неограниченной глубине при определенных условиях, вы можете использовать это:

export DIR=/path/dir && cd $DIR && chmod -R +x *
find . -type f -name '*.sh' | sort | bash > results.out

затем поместите поверх каждого файла в дочерних каталогах, как это:

#!/bin/bash
[[ "$(dirname `pwd`)" == $DIR ]] && echo "Executing `realpath $0`.." || return

и где-нибудь в теле родительского файла:

if <a condition is matched>
then
    #execute child files
    export DIR=`pwd`
fi