Как избежать пробелов в списке циклов bash?

У меня есть сценарий оболочки bash, который просматривает все дочерние каталоги (но не файлы) определенного каталога. Проблема в том, что некоторые имена каталогов содержат пробелы.

Вот содержимое моего тестового каталога:

$ls -F test
Baltimore/  Cherry Hill/  Edison/  New York City/  Philadelphia/  cities.txt

И код, который перебирает каталоги:

for f in `find test/* -type d`; do
  echo $f
done

Вот результат:

тест / Балтимор
Испытание / Cherry
возвышенность
Тест / Edison 
Тест / New
Йорк
город
тест / Филадельфия

Черри-Хилл и Нью-Йорк рассматриваются как 2 или 3 отдельные записи.

Я пробовал цитировать имена файлов, например:

for f in `find test/* -type d | sed -e 's/^/\"/' | sed -e 's/$/\"/'`; do
  echo $f
done

но безрезультатно.

Должен быть простой способ сделать это.

Ответы ниже великолепны. Но чтобы усложнить задачу - я не всегда хочу использовать каталоги, перечисленные в моем тестовом каталоге. Иногда я хочу вместо этого передать имена каталогов в качестве параметров командной строки.

Я воспользовался предложением Чарльза о настройке IFS и пришел к следующему:

dirlist="${@}"
(
  [[ -z "$dirlist" ]] && dirlist=`find test -mindepth 1 -type d` && IFS=$'\n'
  for d in $dirlist; do
    echo $d
  done
)

и это прекрасно работает, если в аргументах командной строки нет пробелов (даже если эти аргументы заключены в кавычки). Например, вызов сценария следующим образом: test.sh "Cherry Hill" "New York City"дает следующий результат:

вишня
возвышенность
новый
Йорк
город

Во-первых, не делайте этого так. Лучший подход - find -execправильно использовать :

# this is safe
find test -type d -exec echo '{}' +

Другой безопасный подход - использовать список с завершающим NUL, хотя для этого требуется ваша поддержка find -print0:

# this is safe
while IFS= read -r -d '' n; do
  printf '%q\n' "$n"
done < <(find test -mindepth 1 -type d -print0)

Вы также можете заполнить массив из find и передать этот массив позже:

# this is safe
declare -a myarray
while IFS= read -r -d '' n; do
  myarray+=( "$n" )
done < <(find test -mindepth 1 -type d -print0)
printf '%q\n' "${myarray[@]}" # printf is an example; use it however you want

Если ваша находка не поддерживает -print0, ваш результат будет небезопасным - приведенный ниже файл не будет вести себя должным образом, если существуют файлы, содержащие символы новой строки в своих именах (что, да, является законным):

# this is unsafe
while IFS= read -r n; do
  printf '%q\n' "$n"
done < <(find test -mindepth 1 -type d)

Если кто-то не собирается использовать один из вышеперечисленных, третий подход (менее эффективный с точки зрения использования времени и памяти, так как он считывает весь вывод подпроцесса перед выполнением разделения слов) заключается в использовании IFSпеременной, которая не выполняет не содержат пробела. Отключите globbing ( set -f), чтобы предотвратить раскрытие строк, содержащих символы glob, такие как [], *или ?:

# this is unsafe (but less unsafe than it would be without the following precautions)
(
 IFS=$'\n' # split only on newlines
 set -f    # disable globbing
 for n in $(find test -mindepth 1 -type d); do
   printf '%q\n' "$n"
 done
)

Наконец, для случая параметра командной строки вы должны использовать массивы, если ваша оболочка поддерживает их (т.е. это ksh, bash или zsh):

# this is safe
for d in "$@"; do
  printf '%s\n' "$d"
done

сохранит разделение. Обратите внимание, что цитирование (и использование $@вместо $*) важно. Массивы можно заполнять и другими способами, например выражениями глобуса:

# this is safe
entries=( test/* )
for d in "${entries[@]}"; do
  printf '%s\n' "$d"
done

find . -type d | while read file; do echo $file; done

Однако не работает, если имя файла содержит символы новой строки. Вышеупомянутое - единственное известное мне решение, когда вы действительно хотите, чтобы имя каталога было в переменной. Если вы просто хотите выполнить какую-то команду, используйте xargs.

find . -type d -print0 | xargs -0 echo 'The directory is: '

Вот простое решение, которое обрабатывает табуляции и / или пробелы в имени файла. Если вам нужно иметь дело с другими странными символами в имени файла, такими как новые строки, выберите другой ответ.

Каталог тестов

ls -F test
Baltimore/  Cherry Hill/  Edison/  New York City/  Philadelphia/  cities.txt

Код для входа в каталоги

find test -type d | while read f ; do
  echo "$f"
done

Имя файла должно быть заключено в кавычки ( "$f"), если используется в качестве аргумента. Без кавычек пробелы действуют как разделители аргументов, и вызываемой команде передается несколько аргументов.

И вывод:

test/Baltimore
test/Cherry Hill
test/Edison
test/New York City
test/Philadelphia

Это чрезвычайно сложно в стандартном Unix, и большинство решений не справляются с переводом строки или каким-либо другим символом. Однако, если вы используете набор инструментов GNU, вы можете использовать эту findопцию -print0и использовать xargsс соответствующей опцией -0(минус-ноль). Есть два символа, которые не могут появиться в простом имени файла; это косая черта и NUL '\ 0'. Очевидно, что в именах путей появляется косая черта, поэтому решение GNU по использованию NUL '\ 0' для обозначения конца имени является гениальным и надежным.

Почему бы просто не поставить

IFS='\n'

перед командой for? Это изменяет разделитель полей с <Space> <Tab> <Newline> на <Newline>

find . -print0|while read -d $'\0' file; do echo "$file"; done

я использую

SAVEIFS=$IFS
IFS=$(echo -en "\n\b")
for f in $( find "$1" -type d ! -path "$1" )
do
  echo $f
done
IFS=$SAVEIFS

Разве этого не достаточно?
Идея взята из http://www.cyberciti.biz/tips/handling-filenames-with-spaces-in-bash.html

Не храните списки в виде строк; храните их как массивы, чтобы избежать путаницы с разделителями. Вот пример сценария, который будет работать либо со всеми подкаталогами test, либо со списком, указанным в его командной строке:

#!/bin/bash
if [ $# -eq 0 ]; then
        # if no args supplies, build a list of subdirs of test/
        dirlist=() # start with empty list
        for f in test/*; do # for each item in test/ ...
                if [ -d "$f" ]; then # if it's a subdir...
                        dirlist=("${dirlist[@]}" "$f") # add it to the list
                fi
        done
else
        # if args were supplied, copy the list of args into dirlist
        dirlist=("$@")
fi
# now loop through dirlist, operating on each one
for dir in "${dirlist[@]}"; do
        printf "Directory: %s\n" "$dir"
done

Теперь давайте попробуем это в тестовом каталоге с добавленной кривой или двумя:

$ ls -F test
Baltimore/
Cherry Hill/
Edison/
New York City/
Philadelphia/
this is a dirname with quotes, lfs, escapes: "\''?'?\e\n\d/
this is a file, not a directory
$ ./test.sh 
Directory: test/Baltimore
Directory: test/Cherry Hill
Directory: test/Edison
Directory: test/New York City
Directory: test/Philadelphia
Directory: test/this is a dirname with quotes, lfs, escapes: "\''
'
\e\n\d
$ ./test.sh "Cherry Hill" "New York City"
Directory: Cherry Hill
Directory: New York City

Вы можете временно использовать IFS (внутренний разделитель полей), используя:

OLD_IFS=$IFS     # Stores Default IFS
IFS=$'\n'        # Set it to line break
for f in `find test/* -type d`; do
    echo $f
done

$IFS=$OLD_IFS

ps, если речь идет только о пространстве во вводе, то некоторые двойные кавычки у меня работали гладко ...

read artist;

find "/mnt/2tb_USB_hard_disc/p_music/$artist" -type f -name *.mp3 -exec mpg123 '{}' \;

Чтобы добавить к тому, что сказал Джонатан : используйте -print0опцию для findв сочетании со xargsследующим:

find test/* -type d -print0 | xargs -0 command

Это выполнит команду commandс правильными аргументами; каталоги с пробелами в них будут правильно заключены в кавычки (т.е. они будут переданы как один аргумент).

#!/bin/bash

dirtys=()

for folder in *
do    
 if [ -d "$folder" ]; then    
    dirtys=("${dirtys[@]}" "$folder")    
 fi    
done    

for dir in "${dirtys[@]}"    
do    
   for file in "$dir"/\*.mov   # <== *.mov
   do    
       #dir_e=`echo "$dir" | sed 's/[[:space:]]/\\\ /g'`   -- This line will replace each space into '\ '   
       out=`echo "$file" | sed 's/\(.*\)\/\(.*\)/\2/'`     # These two line code can be written in one line using multiple sed commands.    
       out=`echo "$out" | sed 's/[[:space:]]/_/g'`    
       #echo "ffmpeg -i $out_e -sameq -vcodec msmpeg4v2 -acodec pcm_u8 $dir_e/${out/%mov/avi}"    
       `ffmpeg -i "$file" -sameq -vcodec msmpeg4v2 -acodec pcm_u8 "$dir"/${out/%mov/avi}`    
   done    
done

Приведенный выше код преобразует файлы .mov в .avi. Файлы .mov находятся в разных папках, и в именах папок также есть пробелы . Мой сценарий выше преобразует файлы .mov в файл .avi в той же самой папке. Не знаю, поможет ли это вам, народы.

Случай:

[sony@localhost shell_tutorial]$ ls
Chapter 01 - Introduction  Chapter 02 - Your First Shell Script
[sony@localhost shell_tutorial]$ cd Chapter\ 01\ -\ Introduction/
[sony@localhost Chapter 01 - Introduction]$ ls
0101 - About this Course.mov   0102 - Course Structure.mov
[sony@localhost Chapter 01 - Introduction]$ ./above_script
 ... successfully executed.
[sony@localhost Chapter 01 - Introduction]$ ls
0101_-_About_this_Course.avi  0102_-_Course_Structure.avi
0101 - About this Course.mov  0102 - Course Structure.mov
[sony@localhost Chapter 01 - Introduction]$ CHEERS!

Ура!

Также приходилось иметь дело с пробелами в именах путей. В конце концов я использовал рекурсию и for item in /path/*:

function recursedir {
    local item
    for item in "${1%/}"/*
    do
        if [ -d "$item" ]
        then
            recursedir "$item"
        else
            command
        fi
    done
}

Преобразуйте список файлов в массив Bash. Здесь используется подход Мэтта МакКлюра для возврата массива из функции Bash: http://notes-matthewlmcclure.blogspot.com/2009/12/return-array-from-bash-function-v-2.html Результатом является способ для преобразования любого многострочного ввода в массив Bash.

#!/bin/bash

# This is the command where we want to convert the output to an array.
# Output is: fileSize fileNameIncludingPath
multiLineCommand="find . -mindepth 1 -printf '%s %p\\n'"

# This eval converts the multi-line output of multiLineCommand to a
# Bash array. To convert stdin, remove: < <(eval "$multiLineCommand" )
eval "declare -a myArray=`( arr=(); while read -r line; do arr[${#arr[@]}]="$line"; done; declare -p arr | sed -e 's/^declare -a arr=//' ) < <(eval "$multiLineCommand" )`"

for f in "${myArray[@]}"
do
   echo "Element: $f"
done

Этот подход работает, даже когда присутствуют плохие символы, и является общим способом преобразования любого ввода в массив Bash. Недостатком является то, что если ввод длинный, вы можете превысить ограничения на размер командной строки Bash или использовать большой объем памяти.

Подходы, в которых цикл, который в конечном итоге работает со списком, также имеет переданный по конвейеру список, имеют недостаток, заключающийся в том, что чтение stdin непросто (например, запрос у пользователя ввода), а цикл - это новый процесс, поэтому вам может быть интересно, почему переменные , установленный внутри цикла, недоступны после завершения цикла.

Мне также не нравится установка IFS, это может испортить другой код.

Что ж, я вижу слишком много сложных ответов. Я не хочу передавать вывод утилиты find или писать цикл, потому что для этого у find есть опция "exec".

Моя проблема заключалась в том, что я хотел переместить все файлы с расширением dbf в текущую папку, а некоторые из них содержали пробелы.

Я взялся за это так:

 find . -name \*.dbf -print0 -exec mv '{}'  . ';'

Для меня это выглядит очень просто

только что выяснил, что между моим и вашим вопросом есть некоторые сходства . Например, если вы хотите передавать аргументы в команды

test.sh "Cherry Hill" "New York City"

распечатать их по порядку

for SOME_ARG in "$@"
do
    echo "$SOME_ARG";
done;

обратите внимание, что $ @ заключен в двойные кавычки, некоторые примечания здесь

Мне нужна была такая же концепция для последовательного сжатия нескольких каталогов или файлов из определенной папки. Я решил использовать awk для анализа списка из ls и избежать проблемы с пустым пространством в имени.

source="/xxx/xxx"
dest="/yyy/yyy"

n_max=`ls . | wc -l`

echo "Loop over items..."
i=1
while [ $i -le $n_max ];do
item=`ls . | awk 'NR=='$i'' `
echo "File selected for compression: $item"
tar -cvzf $dest/"$item".tar.gz "$item"
i=$(( i + 1 ))
done
echo "Done!!!"

что ты думаешь?

find Downloads -type f | while read file; do printf "%q\n" "$file"; done

Для меня это работает, и это довольно "чисто":

for f in "$(find ./test -type d)" ; do
  echo "$f"
done

Просто возникла проблема простого варианта ... Конвертировать файлы из набранного .flv в .mp3 (зевать).

for file in read `find . *.flv`; do ffmpeg -i ${file} -acodec copy ${file}.mp3;done

рекурсивно найти все пользовательские флеш-файлы Macintosh и превратить их в аудио (копировать, без перекодирования) ... это похоже на то, что указано выше, отмечая, что чтение вместо просто «для файла в » исчезнет.