У меня есть файл с именем, /tmp/urlFileгде каждая строка представляет URL-адрес. Я пытаюсь прочитать из файла следующее:

cat "/tmp/urlFile" | while read url
do
    echo $url
done

Если последняя строка не заканчивается символом новой строки, эта строка не будет прочитана. Мне было интересно, почему?

Можно ли прочитать все строки, независимо от того, заканчиваются ли они новой строкой или нет?

Вы бы сделали:

while IFS= read -r url || [ -n "$url" ]; do
  printf '%s\n' "$url"
done < url.list

(по сути, этот цикл добавляет недостающий символ новой строки в последней (не) строке).

Смотрите также:

• Почему использование цикла оболочки для обработки текста считается плохой практикой?
• Понять "IFS = читать строку -r"?
• Почему printf лучше, чем echo?

Это, кажется, решается частично с помощью readarray -t:

readarray -t urls "/tmp/urlFile"
for url in "${urls[@]}"; do
    printf '%s\n' "$url"
done

Однако обратите внимание, что, хотя это работает для файлов разумного размера, это решение представляет потенциальную новую проблему с очень большими файлами - сначала оно считывает файл в массив, который затем должен быть повторен. Для очень больших файлов это может занимать много времени и памяти, что может привести к сбою.

По определению текстовый файл состоит из последовательности строк. Строка заканчивается символом новой строки. Таким образом, текстовый файл заканчивается символом новой строки, если он не пустой.

readВстроенный предназначено только для чтения текстовых файлов. Вы не передаете текстовый файл, поэтому вы не можете надеяться, что он будет работать без проблем. Оболочка читает все строки - пропускаются лишние символы после последней строки.

Если у вас есть потенциально искаженный входной файл, в котором может отсутствовать последняя строка, вы можете добавить в него новую строку, просто чтобы быть уверенным.

{ cat "/tmp/urlFile"; echo; } | …

Файлы, которые должны быть текстовыми файлами, но без последней строки, часто создаются редакторами Windows. Это обычно происходит в сочетании с окончаниями строк Windows, которые являются CR LF, в отличие от Unix LF. Символы CR редко бывают полезными в любом месте и ни в коем случае не могут появляться в URL, поэтому их следует удалить.

{ <"/tmp/urlFile" tr -d '\r'; echo; } | …

В случае, если входной файл правильно сформирован и заканчивается новой echoстрокой , добавляется дополнительная пустая строка. Поскольку URL не могут быть пустыми, просто игнорируйте пустые строки.

Обратите внимание, что readстроки не читаются простым способом. Он игнорирует начальные и конечные пробелы, что для URL, вероятно, желательно. Он обрабатывает обратную косую черту в конце строки как escape-символ, в результате чего следующая строка соединяется с первой минус последовательность backslash-newline, что определенно нежелательно. Таким образом, вы должны передать -rопцию read. Это очень, очень редко, readчтобы быть правильным, а не read -r.

{ <"/tmp/urlFile" tr -d '\r'; echo; } | while read -r url
do
  if [ -z "$url" ]; then continue; fi
  …
done

Ну, readвозвращает ложное значение, если оно встречает конец файла перед новой строкой, но даже если это так, оно все равно присваивает прочитанное значение. Итак, мы можем проверить, readвозвращает ли последний вызов что-то еще, кроме пустой строки, и обработать это как обычно. Таким образом, выход из цикла возможен только после readвозврата false и пустой строки:

#!/bin/sh
while IFS= read -r line || [ "$line" ]; do 
    echo "line: $line"
done

$ printf 'foo\nbar' | sh ./read.sh 
line: foo
line: bar
$ printf 'foo\nbar\n' | sh ./read.sh 
line: foo
line: bar

Другой способ будет выглядеть так:

Когда чтение достигает конца файла вместо конца строки, он читает данные и присваивает их переменным, но завершается с ненулевым статусом. Если ваш цикл построен "во время чтения; делать вещи; сделано

Таким образом, вместо непосредственного тестирования состояния завершения чтения, проверьте флаг и задайте для команды чтения этот флаг из тела цикла. Таким образом, независимо от состояния выхода чтения, выполняется все тело цикла, потому что чтение было просто одной из списка команд в цикле, как и любой другой, а не решающим фактором того, будет ли цикл выполняться вообще.

DONE=false
until $DONE ;do
read || DONE=true
echo $REPLY 
done < /tmp/urlFile

Ссылается отсюда .

кот "/ tmp / urlFile" | пока читаешь URL
делать
    echo $ url
сделанный

Это бесполезное использованиеcat .

По иронии судьбы вы можете заменить этот catпроцесс на что-то действительно полезное: инструмент, который есть в системах POSIX для добавления отсутствующего перевода строки и преобразования файла в правильный текстовый файл POSIX.

sed -e '$ a \' "/ tmp / urlFile" | пока читаешь -r url
делать
    printf "% s \ n" "$ {url}"
сделанный

дальнейшее чтение

• Как добавить новую строку в конец файла?