Я хочу просто иметь возможность исследовать файловую систему dropbox без особой дополнительной нагрузки на процессор, память, хранилище (т.е. без локального сохранения копий удаленных файлов). Похоже, что официальный клиент потребляет много ресурсов (и может выполнять ненужные операции, такие как...
Например, у меня есть ссылка http://www.abc.com/123/def/ghi/jkl.mno. Я хочу скачать его с помощью wgetили curlи получить имя выходного файла как def_ghi_jkl.mno, где часть def_ghiвзята по ссылке. Я помещу эту wgetкоманду в скрипт для загрузки нескольких файлов, чтобы она не могла явно указывать имя...
Wget - очень полезный инструмент для быстрой загрузки материалов в Интернете, но могу ли я использовать его для загрузки с сайтов хостинга, таких как FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? Если так, как я могу это...
Если у меня список URL-адресов разделен \n, есть ли какие-либо параметры, которые я могу передать, чтобы wgetзагрузить все URL-адреса и сохранить их в текущем каталоге, но только если файлы еще не...
В wget есть такая опция, -npкоторая отключает получение файлов из любого родительского каталога. Мне нужно что-то похожее, но немного более гибкое. Рассматривать: www.foo.com/bar1/bar2/bar3/index.html Я хотел бы получить все, но не «выше» (в древовидной иерархии), чем bar2(!). Так bar2что тоже надо...
Я вызываю URL с помощью wget: /usr/bin/wget --read-timeout=7200 https://site_url/s В этом случае Wget выполняет запрос GET каждые 15 минут, несмотря на установленное время ожидания, почему это происходит? Вызов должен быть сделан только один раз, как я могу установить wget на НЕ ПОВТОРИТЬ? Я знаю,...
Страница wgetman утверждает это в разделе для --random-waitпараметра: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development...
У нас есть скрипт, который загружает мод безопасности с github, который недавно начал давать сбой. На серверах работает CentOS 6, но RHEL 6, вероятно, имеет ту же проблему. Выход: # wget https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz --2014-07-22 18:49:46--...
Я хотел бы применить этот патч, поэтому я скопировал код, начиная с «Index: src / options.h» и заканчивая «+ @ item», и поместил его в новый файл, созданный в wgetпапке с исходным кодом. Тогда я сделал: $ patch -p0 < name_of_patch (Patch is indented 1 space.) patching file src/options.h patch:...
Я wgetсобираю огромные файлы (более 100 ГБ), а затем сравниваю сумму md5 с суммой, размещенной в хранилище. Хотите верьте, хотите нет, но md5sumдля запуска файла такого размера требуется нетривиальное время, поэтому я хотел бы получить сумму параллельно с загрузкой. Какой лучший способ сделать это?...
Я пишу сценарий bash, который широко использует wget. Чтобы определить все общие параметры в одном месте, я храню их в переменных. Вот кусок кода: useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"' cookies_file="/tmp/wget-cookies.txt"...
Я хочу скачать https://example.comс помощью wgetкоманды, но она говорит «неподдерживаемый / нераспознанный протокол». Я пытался использовать, --secure protocol=''но это не работает. Я скачал файл tar из GNU wget и попытался настроить его, но мне это не удалось. Вот пример того, что я вижу:...
Я пытаюсь загрузить файл через HTTP с веб-сайта, используя wget. Когда я использую: wget http://abc/geo/download/?acc=GSE48191&format=file Я получаю только файл с именем index.html?acc=GSE48191. Когда я использую: wget http://abc/geo/download/?acc=GSE48191&format=file -o asd.rpm Я получаю...
Я загружаю исходную страницу HTML сайта с помощью cURLкоманды. Проблема в том, что я не хочу большую часть содержимого на странице. Мне просто нужны первые 100 строк исходной страницы. Есть ли способ остановить загрузку страницы после первых нескольких строк? В настоящее время у меня работает...
Я довольно новый wget. Мне просто нужно знать, как я могу установить папку назначения, в которой сохраняются загрузки. Я верю, что это так --directory-prefix.
Представьте себе что-то вроде этого: $ curlsh http://www.example.org > GET /foo/bar/bam ...output here... > POST /thing/pool ... ... result here.... есть ли инструмент, который позволяет мне это сделать?...
Я хочу проверить, как будет вести себя мой сайт, когда его падают. Однако я хочу исключить все URL, содержащие слово «страница». Я старался: $ wget -r -R "*page*" --spider --no-check-certificate -w 1 http://mysite.com/ Предполагается, что -Rфлаг отклоняет шаблон URL, содержащий слово «страница». За...
Я пытаюсь найти действительно быстрый метод определения размеров изображений. Я знаю, что могу создать изображение, а затем использовать imagemagick для определения высоты и ширины изображения. Я обеспокоен тем, что это не самый быстрый способ сделать это. Я также обеспокоен необходимостью...
Одним из основных недостатков curlявляется то, что все больше и больше веб-страниц окрашивают свой основной контент в ответ JavaScript AJAX, который происходит после первоначального ответа HTTP. curlникогда не узнает об этом пост-окрашенном контенте. Поэтому, чтобы получить эти типы веб-страниц из...
Я использую wgetкоманду в фоновом режиме, как это wget -bq и это печатает Продолжая в фоновом режиме, pid 31754. Но когда я набираю команду jobs, я не вижу свою работу (хотя загрузка еще не...