Вопросы с тегом «wget»

2
Зеркалирование с помощью wget - исключить старые файлы

Я использую wget для зеркалирования файлового архива ftp. Это моя команда: wget -m $mirror (удалены все ненужные параметры) Пока все в порядке, все отличия от онлайн-архива будут синхронизированы. Но теперь есть скрипт, который удаляет файлы из моей копии, так как они не нужны. Так что, если я...

1
Wget цикл Bash с нумерацией загрузки?

Как я могу сделать, что-то вроде этого: wget http://website.com/page.html каждые x секунд и нумеруйте их. Я хотел бы, чтобы мой вывод был таким: page1.html page2.html и т. Д. Я уже знаю, как сделать цикл Wget с while true sleep 10; do wget http://website.com/page.html; done Однако я не уверен в...

1
Wget возвращает http 404

Я просто хочу скачать все файлы по этой ссылке: http://www.vision.caltech.edu/pmoreels/Datasets/TurntableObjects/ImageSet070504/ Я пробовал wgetс разными вариантами, все они возвращают "ОШИБКА 404: Не найдено". Например, я попробовал эту команду, которая не работает: wget -nH --cut-dirs=3 --mirror...

1
Wget скорость загрузки колеблется

Поэтому я загружаю ISO-образ с веб-сайта Uberstudent, используя команду wget, отображаемую на их веб-сайте. Но скорость загрузки постоянно колеблется, и мне интересно, что может быть причиной этого? Я имею в виду, что это происходит от 2,5 Мбит / с до 150 Кбит / с в считанные секунды. Как сделать...

1
Bash: вернуть все символы между n-ными вхождениями двух разных строк в строке

В скрипте bash (в Ubuntu 14.04) я запускаю команду: WP055="$(wget -qO - http://alerts.weather.gov/cap/wwaatmget.php?x=CAZ055&y=1)" В строке переменной WP055 будет неизвестное число пар «<title>» и «</ title>». Мне нужно искать в каждой из этих пар строку «по NWS», что означает, что...

1
Использование wget с командной строкой Windows для загрузки файлов вне каталога сайта

Я должен загрузить файлы, которые находятся за пределами каталога моего сайта, используя wgetWindows, позвольте мне сделать это более понятным. Мой сайт работает на сервере Linux. Domain ---> www.example.com /var/www/html ---> This is the my site directory /home/username/data.csv ---> This...

1
Запустите wget в фоновом режиме, но все равно увидите статус загрузки

Я работаю wgetв командной строке Windows (Vista) следующим образом: wget -b -o test.MP4 -r -A .MP4 -nH --cut-dirs=3 http://website.com Если я удаляю, -bмне действительно нравится, что вывод, показывающий состояние загрузки, возвращается к приглашению, но у меня есть timeoutкоманда на следующей...

1
Эквивалент Powershell для переключателей wget «-nc» и «-i» [дубликаты]

На этот вопрос уже есть ответ здесь: Родная альтернатива wget в Windows PowerShell? 9 ответов Что такое Powershell-эквивалент этой команды wget? wget -nc -i downloadList.txt куда -i downloadList.txt загружает список URL-адресов в указанном файле. -nc пропускает уже загруженные файлы....

1
Wget перезаписывает файлы при зеркалировании многоязычного сайта

Я хотел бы отразить сайт с помощью wget. Проблема в том, что на сайте есть несколько языковых мутаций, которые переключаются с помощью параметра строки запроса, и когда wget начинает загружать версию на другом языке, она забивает предыдущую. Например, он начинается с index.html, захватывает часть...

1
Как я могу запустить эквивалентную команду «curl», которая работает аналогично этой команде «wget»?

у меня есть wget команда: wget -r --no-parent -nH -nd -q --show-progress --progress=bar:force ftp://ftp.ncdc.noaa.gov/pub/data/swdi/database-csv/v2/ Но это работает только в новых версиях wget, К сожалению, у меня есть более старая версия wget (GNU Wget 1.15 построен на darwin14.3.0) и не может...

1
У Wget возникли проблемы с сохранением файлов, которые я хочу - исключить каталоги, похоже, не работает

Я хочу загрузить все государственные расходы свыше 500 фунтов стерлингов Министерством энергетики и изменения климата. Это файлы .xls и .xlsx, генерируемые один раз в месяц. Они хранятся в таких местах, как это: https: //...

1
Многопоточный / многопроцессный клиент командной строки ftp для Windows

Я ищу ftp клиент командной строки для Windows, способный ускорить загрузку, используя несколько процессов / потоков. (Filezilla делает это AFAIK, но это не работает из командной строки). Или, может быть, есть способ сделать это wget(который я сейчас...

1
Очистить грязный wget скачать имена файлов

Иногда wget выбирает дополнительные параметры при загрузке файла, например Aev264-yale_econ2521120.m4v?bri=40.1&brs=689. Очевидно, все, что я хочу, это Aev264-yale_econ2521120.m4v. Я пролистал справочные страницы и не вижу ничего, что могло бы это исправить. Есть...

1
Продолжить загрузку файлов, начиная с URL, где он останавливается: WGET

Я хочу скачивать файлы используя Wget , Максимальная глубина до 3. Теперь я знаю, что существует большая вероятность того, что файлы в URL будут обновлены. Есть ли способ, что эти обновленные / модифицированные файлы будут единственными для загрузки? Например, день 1: я запустю скрипт Python,...

0
Wget работает на Linux, но не на Mac OS

Я пытаюсь скачать этот файл: http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zipиспользуя wget, вот так: wget http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip Поскольку сервер использует проверку cookie, это делает 2 разных запроса на один и тот же URL, первый...

0
невозможно подключиться к локальному веб-серверу

Когда я пытаюсь подключиться к веб-серверу, установленному на компьютере в локальной сети, я не могу получить страницу индекса, компьютер хорошо настроен, потому что я могу пропинговать и ssh: пинг $ ping 172.16.69.196 PING 172.16.69.196 (172.16.69.196) 56(84) bytes of data. 64 bytes from...

0
почасовая загрузка с помощью wget

Я хотел бы загружать файл из Dropbox каждый час и регистрировать его для тестирования. Какой лучший способ для этого? Я новичок в wget и пока что мне удается скачать файл. вот что у меня так далеко: wget -o download.txt --no-check-cert ССЫЛКА Кто-нибудь может дать мне какой-нибудь совет, как это...

0
Как избежать зависания wget

Я использую GSM модем для загрузки файлов изображений, отправленных на него через MMS. С моей коробки Debian дома это работает без проблем. Тем не менее, всякий раз, когда я пытаюсь сделать это из своего почтового ящика в офисе, я получаю wget -d -r --tries=2 --bind-address=25.234.65.247...