Как вы используете wget для загрузки всего сайта (домен A), когда его ресурсы находятся в другом домене (домен B)? Я пробовал: wget -r --level=inf -p -k -E --domains=domainA,domainB
Я использую wget --mirror --html-extension --convert-linksдля зеркалирования сайта, но я получаю много имен файлов в формате post.php?id=#.html. Когда я пытаюсь просмотреть их в браузере, происходит сбой, потому что браузер игнорирует строку запроса при загрузке файла. Есть ли способ заменить...
Я хочу получить архив с этой библиотекой python из терминала. https://github.com/simplegeo/python-oauth2/downloads Однако я не могу просто позвонить wget https://github.com/simplegeo/python-oauth2/tarball/master потому что это возвращает веб-страницу. Как мне получить этот ресурс из...
У меня есть веб-сайт, и я хочу загрузить все страницы / ссылки на этом веб-сайте. Я хочу сделать wget -rпо этому URL. Ни одна из ссылок не выходит за пределы этого конкретного каталога, поэтому я не беспокоюсь о загрузке всего Интернета. Оказывается, нужные мне страницы находятся за защищенным...
Я пытаюсь получить некоторые файлы с моего FTP-сервера из командной строки. Я использую wget для загрузки всей папки сразу. Команда: wget -m ftp://username:password@ftp.hostname.com:/path/to/folder Но проблема в том, что мой пароль содержит символ «@». Следовательно, команда становится wget -m...
По сути, я хочу сканировать весь сайт с помощью Wget, но он мне нужен, чтобы НИКОГДА не загружать другие ресурсы (например, изображения, CSS, JS и т. Д.). Я хочу только файлы HTML. Поиски в Google совершенно бесполезны. Вот команда, которую я попробовал: wget --limit-rate=200k --no-clobber...
Если я напишу wget «нет такого адреса» -o «test.html», он сначала создаст test.html, а в случае сбоя оставит его пустым. Однако, если не использовать -o, он будет ждать, если загрузка удастся, и только после этого он запишет файл. Я бы хотел, чтобы последнее поведение также применялось к -о,...
Я использую Linux Mint 15 Cinnamon, работающий от 8GB Pendrive. Я хочу получить ISO для «Linux Mint 14« Nadia »KDE». Я пытался использовать wgetв терминале. Вот именно то, что я напечатал: wget http://mirror.ufs.ac.za/linuxmint/stable/14/linuxmint-14-kde-dvd-64bit.iso после того, как он загрузился...
Как вы указываете wget рекурсивно сканировать веб-сайт и загружать только определенные типы изображений? Я попытался использовать это для сканирования сайта и загрузки только изображений в формате JPEG: wget --no-parent --wait=10 --limit-rate=100K --recursive --accept=jpg,jpeg --no-directories...
wget --load-cookies загрузит файлы cookie в виде «текстового файла в формате, который изначально использовался в файле cookies.txt Netscape». Тем не менее, Firefox хранит свои куки в SQLite база данных. Есть ли способ извлечь «файл cookies.txt Netscape» из Firefox cookies.sqlite файл?...
Я знаю, что вы можете рекурсивно загружать веб-страницы wget, но возможно ли сделать пробный запуск? Так что вы могли бы сделать тестовый прогон, чтобы увидеть, сколько будет загружено, если вы действительно сделали это? Думая о страницах, которые имеют много ссылок на медиа-файлы, такие как,...
Я пытаюсь использовать wget для создания локального зеркала сайта. Но я обнаружил, что я не получаю все страницы ссылок. Вот сайт http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/ Я не хочу, чтобы все страницы начинались с web.archive.org, но я хочу, чтобы все страницы...
У меня довольно большой файл, размещенный на пяти разных серверах. Я хотел бы иметь возможность загружать разные части файла с каждого сервера и впоследствии объединять их, чтобы создать исходный файл. Есть ли способ сделать это с помощью curl / wget или любых других инструментов командной строки...
Я хочу загрузить файл с помощью Wget , но в соответствии с обычной философией UNIX я не хочу, чтобы он что-либо выводил, если загрузка прошла успешно. Однако, если загрузка не удалась, я хочу сообщение об ошибке. -qОпция подавляет весь вывод, в том числе сообщений об ошибках. Если я включу...
Я пытаюсь загрузить URL, который похож http://www.somesite.com/restaurants.html#photo=22x00085. Я помещаю его между одинарными кавычками, но он загружает только http://www.somesite.com/restaurants.html, который не является правильной страницей. Есть ли...
Как я могу написать скрипт bash, который будет делать следующее: URL = "example.com/imageID=" while (1..100) wget URL + $i #it will wget example.com/imageID=1, then 2, then 3, etc done Итак, у меня есть несколько циклов, URL-адрес которых заканчивается числом из цикла. Мне нужно wgetвсе...
Притворись, что я хотел, чтобы простая копия страницы была загружена на мой HD для постоянного хранения. Я не ищу глубокую рекурсивную загрузку, просто одну страницу, но также и любые ресурсы, загружаемые этой страницей, для загрузки. Пример: https://www.tumblr.com/ Ожидать: Index.html Любые...
У меня есть URL-адрес HTML-страницы, и я хочу grep его. Как я могу это сделать wget someArgs | grep keyword? Моя первая идея была wget -q -O - url | grep keyword, но вывод wget обходят grep и возникают на терминале в его первоначальном...
Если пробег без параметров моих wgetотпечатков: D:\>wget SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc syswgetrc = c:/progra~1/wget/etc/wgetrc D:\Apps\Util\wget: missing URL Usage: D:\Apps\Util\wget [OPTION]... [URL]... Try `D:\Apps\Util\wget --help' for more options. Это, вероятно, означает, что...
Я пытаюсь скачать два сайта для включения в CD: http://boinc.berkeley.edu/trac/wiki http://www.boinc-wiki.info У меня проблема в том, что это оба вики. Таким образом, при загрузке, например: wget -r -k -np -nv -R jpg,jpeg,gif,png,tif http://www.boinc-wiki.info/ Я получаю много файлов, потому что он...