Вопросы с тегом «wget»

19
-Q определенно отключает ведение журнала wget?

В настоящее время у меня есть скрипт оболочки, работающий на сервере Linux, который использует wget в oder для загрузки удаленной веб-страницы. Это, в свою очередь, выполняется заданием cron, которое планируется запустить в определенное время. Может ли кто-нибудь подтвердить, что добавление этой...

18
Как скачать пакет RPM и установить его в одну строку?

Мне было интересно, можно ли с помощью wgetэтого загрузить RPM, а затем передать его, sudo rpm -iчтобы установить в одну строку? Я понимаю, что могу просто бежать: wget -c <URL> sudo rpm -i <PACKAGE-NAME>.rpm чтобы установить пакет, но мне было интересно, возможно ли сделать это в одной...

18
Используя wget, какова правильная команда, чтобы получить версию в сжатом виде вместо реального HTML

Я наткнулся на этот сайт, который говорит об этом. Так что, при загрузке всего сайта с помощью gzip-версии, какая команда подходит? Я протестировал эту команду, но я не знаю, действительно ли wget получит версию gzipped: wget --header="accept-encoding: gzip" -m -Dlinux.about.com -r -q -R...

17
Как получить текст страницы, используя wget без HTML?

Если я попробую wget на веб-странице, я получу страницу в виде HTML. Возможно ли получить только текст файла без связанного HTML? (Это необходимо для меня, поскольку некоторые страницы HTML содержат программу c, загружаемую с тегами html. Мне нужно открыть ее в браузере и вручную скопировать текст,...

16
инструмент командной строки для одной загрузки торрента (например, wget или curl)

Меня интересует одна команда, которая загружала бы содержимое торрента (и, возможно, участвовала бы в качестве начального числа после загрузки, пока я не остановлю его). Обычно есть клиент torrent-клиента, который должен быть запущен отдельно заранее, и клиент для управления (например...

15
Скачивание файлов с помощью wget

Я пытаюсь скачать файлы с этого сайта . URL-адрес: http://www.ncbi.nlm.nih.gov/geo/download/?acc=GSE48191&format=file Когда я использую эту команду: wget http://www.ncbi.nlm.nih.gov/geo/download/?acc=GSE48191&format=file Я получаю только index.html?acc=GSE48191что-то вроде двоичного...

14
Как сделать файл на удаленной машине через SSH?

Я хотел бы в основном передать wgetкоманду в файл на удаленном сервере через SSH. Как я могу это сделать? Я знаю, что могу просто sshзайти на сервер и загрузить файл, но я бы предпочел использовать локальный компьютер, чтобы загрузить и отправить...

14
Выполнение тысяч фоновых процессов curl параллельно в bash-скрипте

Я запускаю тысячи фоновых процессов curl параллельно в следующем скрипте bash START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done У меня 49Gb Corei7-920 выделенный сервер (не...

13
Игнорировать «другие» домены при загрузке с помощью wget?

Я хочу сканировать ссылки по адресу www.website.com/XYZ и загружать только те ссылки, которые находятся по адресу www.website.com/ABC. Я использую следующую команду wget для получения нужных мне файлов: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Это прекрасно работает,...

13
Как обойти отсутствующие «последние измененные» заголовки?

Я бегу wgetтак: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Я получаю кучу этих сообщений: Last-modified header missing -- time-stamps turned off. Я предполагаю, что это означает, что страницы продолжают перезагружаться, даже если они у меня есть...

13
Существует ли метод командной строки, с помощью которого я могу проверить, является ли загруженный файл полным или поврежденным?

Я пишу сценарий, который включает в себя загрузку и манипулирование файлом, и я хочу убедиться, что файл не является неполным (например, из-за разорванного соединения), прежде чем работать над...

13
Альтернативы wget

У меня есть сайт на сервере, который представляет собой кучу HTML-страниц, картинок и звуков. Я потерял свой пароль к этому серверу, и мне нужно захватить все, что там хранится. Я могу переходить от страницы к странице и сохранять все, но на сайте более 100 страниц. Я использую OSX. Я пытался...

13
Почему мой wget не умер после потери соединения ssh?

Я sshподошел к своему серверу и побежал, wget -r -np zzz.aaa/bbb/cccи он начал работать. Затем мое интернет-соединение (в моем доме) было прервано, и я забеспокоился, предполагая, что wgetэто произошло, hupпотому что sshсоединение было потеряно, и поэтому терминал умер. Но затем я sshотправился на...

12
Как остановить wget после того, как он получит 404?

Если вы используете расширение скобок с помощью wget, вы можете легко получать изображения с последовательными номерами: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Он извлекает первые 10 файлов , пронумерованных 90.jpgв 99.jpgтолько штраф, но 100.jpgи далее...

12
Записать вывод wget или curl в пользовательское имя файла на основе URL

Например, у меня есть ссылка http://www.abc.com/123/def/ghi/jkl.mno. Я хочу скачать его с помощью wgetили curlи получить имя выходного файла как def_ghi_jkl.mno, где часть def_ghiвзята по ссылке. Я помещу эту wgetкоманду в скрипт для загрузки нескольких файлов, чтобы она не могла явно указывать имя...

12
монтирование Dropbox (для изучения файлов)

Я хочу просто иметь возможность исследовать файловую систему dropbox без особой дополнительной нагрузки на процессор, память, хранилище (т.е. без локального сохранения копий удаленных файлов). Похоже, что официальный клиент потребляет много ресурсов (и может выполнять ненужные операции, такие как...