По конвейеру вывод cat в cURL для загрузки списка файлов

У меня есть список URL-адресов в файле с именем urls.txt. Каждая строка содержит 1 URL. Я хочу загрузить все файлы сразу, используя cURL. Кажется, я не могу написать правильный однострочный текст.

Я старался:

$ cat urls.txt | xargs -0 curl -O

Но это дает мне только последний файл в списке.

Это работает для меня:

$ xargs -n 1 curl -O < urls.txt

Я во FreeBSD. Ваши xargs могут работать по-другому.

Обратите внимание, что это запускает последовательные curls, которые вы можете рассматривать как излишне тяжелые. Если вы хотите сэкономить часть этих накладных расходов, в bash может работать следующее:

$ mapfile -t urls < urls.txt
$ curl ${urls[@]/#/-O }

Это сохраняет ваш список URL-адресов в массив, а затем расширяет массив с параметрами, curlчтобы вызвать загрузку целей. Команда curlможет принимать несколько URL-адресов и извлекать их все, перезагружая существующее соединение (HTTP / 1.1), но ей нужна -Oопция перед каждым из них, чтобы загрузить и сохранить каждую цель. Обратите внимание, что символы в некоторых URL-адресах] может потребоваться экранировать, чтобы избежать взаимодействия с вашей оболочкой.

Или, если вы используете оболочку POSIX, а не bash:

$ curl $(printf ' -O %s' $(cat urls.txt))

Это зависит от printfповедения повторения шаблона формата для исчерпания списка аргументов данных; не все автономные printfs будут делать это.

Обратите внимание, что этот метод, отличный от xargs, также может не соответствовать системным ограничениям для очень больших списков URL-адресов. Исследования ARG_MAX и MAX_ARG_STRLEN , если это является проблемой.

Очень простым решением будет следующее: Если у вас есть файл file.txt вроде

url="http://www.google.de"
url="http://www.yahoo.de"
url="http://www.bing.de"

Затем вы можете использовать curl и просто сделать

curl -K file.txt

И curl вызовет все URL-адреса, содержащиеся в вашем файле file.txt!

Так что, если у вас есть контроль над форматом входного файла, возможно, это самое простое решение для вас!

Или вы можете просто сделать это:

cat urls.txt | xargs curl -O

Вам нужно использовать -Iпараметр только тогда, когда вы хотите вставить вывод cat в середину команды.

xargs -P 10 | curl

GNU xargs -Pможет запускать несколько curlпроцессов параллельно. Например, для запуска 10процессов:

xargs -P 10 -n 1 curl -O < urls.txt

Это ускорит загрузку в 10 раз, если ваша максимальная скорость загрузки не будет достигнута, и если сервер не регулирует IP-адреса, что является наиболее распространенным сценарием.

Просто не устанавливайте -Pслишком высокий уровень, иначе ваша оперативная память может быть перегружена.

GNU parallelможет достичь аналогичных результатов.

Обратной стороной этих методов является то, что они не используют одно соединение для всех файлов, что curlпроизойдет, если вы передадите ему несколько URL-адресов одновременно, как в:

curl -O out1.txt http://exmple.com/1 -O out2.txt http://exmple.com/2

как указано на /server/199434/how-do-i-make-curl-use-keepalive-from-the-command-line

Может быть, сочетание обоих методов даст лучший результат? Но я полагаю, что распараллеливание важнее, чем поддержание связи.

См. Также: Параллельная загрузка с помощью утилиты командной строки Curl

Вот как я делаю это на Mac (OSX), но он должен работать одинаково хорошо и в других системах:

Вам нужен текстовый файл, содержащий ваши ссылки для curl.

вот так:

    http://www.site1.com/subdirectory/file1-[01-15].jpg
    http://www.site1.com/subdirectory/file2-[01-15].jpg
    .
    .
    http://www.site1.com/subdirectory/file3287-[01-15].jpg

В этом гипотетическом случае текстовый файл имеет 3287 строк, и каждая строка кодирует 15 изображений.

Допустим, мы сохраняем эти ссылки в текстовом файле с именем testcurl.txt на верхнем уровне (/) нашего жесткого диска.

Теперь нам нужно войти в терминал и ввести следующую команду в оболочке bash:

    for i in "`cat /testcurl.txt`" ; do curl -O "$i" ; done

Убедитесь, что вы используете обратные галочки (`). Также убедитесь, что флаг (-O) - это заглавная буква O, а НЕ ноль.

с флагом -O будет использовано исходное имя файла

Удачной загрузки!

Как правильно отметили другие:

-cat urls.txt | xargs -0 curl -O
+cat urls.txt | xargs -n1 curl -O

Однако эта парадигма - очень плохая идея, особенно если все ваши URL-адреса поступают с одного и того же сервера - вы не только создадите еще один экземпляр curl, но также будете устанавливать новое TCP-соединение для каждого запроса, что крайне неэффективен, и тем более с теперь повсеместным https.

Пожалуйста, используйте это вместо:

-cat urls.txt | xargs -n1 curl -O
+cat urls.txt | wget -i/dev/fd/0

Или еще проще:

-cat urls.txt | wget -i/dev/fd/0
+wget -i/dev/fd/0 < urls.txt

Самый простой:

-wget -i/dev/fd/0 < urls.txt
+wget -iurls.txt