Я хочу загрузить файл с помощью Wget , но в соответствии с обычной философией UNIX я не хочу, чтобы он что-либо выводил, если загрузка прошла успешно. Однако, если загрузка не удалась, я хочу сообщение об ошибке. -qОпция подавляет весь вывод, в том числе сообщений об ошибках. Если я включу...
У меня есть URL-адрес HTML-страницы, и я хочу grep его. Как я могу это сделать wget someArgs | grep keyword? Моя первая идея была wget -q -O - url | grep keyword, но вывод wget обходят grep и возникают на терминале в его первоначальном...
В частности, я хотел бы иметь возможность загружать определенные страницы из моего профиля пользователя на различных сайтах Stack Exchange. Я хотел бы, однако, сделать это автоматически (с помощью cronзадания), из командной строки и в формате для анализа. Я предпочитаю использовать Linux для этого,...
Я пользователь Linux Mint (Lisa) и Tor Bundle, пытаюсь использовать wget вместо Tor. Следуя указаниям, которые я нашел здесь , все, что я получаю при запуске wget, это выходной файл, говорящий: «Требуется аутентификация 514». Вот что я сделал: я скачал последнюю версию Tor Bundle (версия 2.2.35-9)...
Как мне загрузить список файлов с файлового сервера, например, http://www.apache.org/dist/httpd/binaries/ ? Я полагаю, я мог бы использовать wget, но затем он пытается получить все ссылки, а также HTML-файл. Есть ли лучший инструмент для достижения этой...
Я хочу сделать следующий запрос POST на мой сервер с помощью wget: email=abc@abc.com&file1=@FILE_HERE&file2=@FILE_HERE В приведенном выше запросе, есть три параметра POST называется email, file1и file2где emailсодержит электронную почту пользователя и file1, file2содержит файл. Как я могу...
Хорошо, я сдаюсь. Как ограничить размер загружаемых файлов, например, я не хочу, чтобы файлы размером более 2
Я хочу скачать приватный архив репозитория с GitHub, распаковать его, удалить архивный файл и скопировать некоторые каталоги, которые находятся внутри загруженного проекта. Я пытался использовать, wgetно я не могу авторизоваться: wget --header='Authorization: token MY_TOKEN_CREATED_ON_GITHUB'...
Я случайно закрыл терминал во время запуска wgetпроцесса загрузки веб-сайта. Прошло 2 дня с тех пор, как я запустил процесс wget, поэтому я не знаю его статуса. Вчера трафик был высоким, а сегодня низким. Похоже, что процесс wget завершен, но topон по-прежнему показывает, что wget работает. Это...
Я пытаюсь отразить блог, например www.example.com, с wget. Я использую wget со следующими параметрами (переменные оболочки подставляются правильно): wget -m -p -H -k -E -np \ -w 1 \ --random-wait \ --restrict-file-names=windows \ -P $folder \ -Q${quota}m \ -t 3 \ --referer=$url \ -U 'Mozilla/5.0...
Помогая другу с подключением к Интернету, потому что «некоторые страницы не загружаются», я заметил, что проблема заключалась в том, что изображения некоторых постов в блогах не загружались в браузер. Я нашел это странным по следующим причинам: Только изображения, которые являются частью поста, не...
Я хочу зайти на сайт газеты, а затем загрузить их электронные копии (в формате PDF). Сайт требует, чтобы я вошел в систему, используя свой адрес электронной почты и пароль, а затем разрешил мне доступ к этим URL-адресам PDF. У меня проблемы с «настройкой моей сессии» в Wget . Когда я захожу на сайт...
Запуск сценария с Cygwin на Windows XP с двухъядерным процессором и 4 ГБ оперативной памяти cat url_list.txt | xargs -P50 wget -i Я пытаюсь трал через 4 Гб в URL для скачивания (около 43 миллионов) Работает нормально примерно в течение первого часа, затем оболочка Bash и загрузка останавливаются,...
Мне нужно скачать около 100 пакетов, поэтому я использую wget-list, чтобы упростить его. Мой вопрос, однако, является ли я после того, как я составил список (я предполагаю, что он в формате .txt), есть ли способ вставить комментарии, которые wget будет игнорировать? Что-то вроде этого: #This is a...
Мне нужно получить целую карту сайта в формате, подобном: http://example.org/ http://example.org/product/ http://example.org/service/ http://example.org/about/ http://example.org/product/viewproduct/ Мне нужно, чтобы он был основан на ссылках (без файла или dir brute-force), например: разобрать...
я использую wget вызывать ссылку каждые 10 секунд следующим образом: #/bin/sh while true; do wget http://www.some.random.link/to/some/PHP/script sleep 10 done Это производит пустые файлы с именем script_name.# где # увеличивается при каждом запуске. Почему это происходит?...
Я использую wgetдля Windows (gnuwin32 wget-1.11.4-1) в Windows 8 и использую его для инструмента справочной службы под названием Kayako, который сообщает о необходимости опроса из очереди электронной почты. Командная строка выглядит так: wget.exe -O null --timeout 25...
Я использую wget для зеркалирования файлового архива ftp. Это моя команда: wget -m $mirror (удалены все ненужные параметры) Пока все в порядке, все отличия от онлайн-архива будут синхронизированы. Но теперь есть скрипт, который удаляет файлы из моей копии, так как они не нужны. Так что, если я...
Мы используем WGET 1.12 для окон на сайте (с параметрами follow_tags = a, reclevel = 8, recursive = on и timestamping = on в настройках wgetrc) и наблюдаем две проблемы: а. Файл удаляется и создается каталог с таким же именем. Исходный файл потерян. Например, URL: http://some_site/abc сохраняется...