Как использовать wget / curl для загрузки с сайта, на котором я вошел?

Некоторые части википедии выглядят по-разному, когда вы вошли в систему. Я хотел бы видеть пользовательские страницы, чтобы они выглядели так, как будто я вошел в систему.

Есть ли способ, которым я могу wget пользовательские страницы, как это

http://en.wikipedia.org/wiki/User:A

это страница входа в систему:

http://en.wikipedia.org/w/index.php?title=Special:UserLogin&returnto=Login&campaign=ACP3

Самый простой способ: войдите в свой браузер и дайте куки на wget

Самый простой способ: в общем, вам нужно предоставить wget или curl с (вошедшими в систему) cookie-файлами с определенного веб-сайта, чтобы они могли выбирать страницы, как если бы вы вошли в систему .

Если вы используете Firefox, это легко сделать с помощью дополнения Export Cookies . Установите дополнение и:

1. Перейдите в Инструменты ... Экспорт файлов cookie и сохраните cookies.txtфайл (вы можете изменить имя файла / место назначения).

2. Откройте терминал и используйте wgetс --load-cookies=FILENAMEопцией, например,

   wget --load-cookies=cookies.txt http://en.wikipedia.org/wiki/User:A

   • Для локона этоcurl --cookie cookies.txt ...

(Я постараюсь обновить этот ответ для пользователей Chrome / Chromium)

Сложный путь: используйте curl (желательно) или wget для управления всей сессией

• Подробные инструкции выходят за рамки этого ответа, но вы используете curl с параметром --cookie-jarили wget с --save-cookies --keep-session-cookiesпараметрами вместе с методом HTTP / S PUT, чтобы войти на сайт, сохранить файлы cookie для входа и затем использовать их для симулировать браузер
• Нет необходимости говорить, что для этого требуется пройти через HTML-источник для страницы входа в систему (получить имена полей ввода и т. Д.), И часто бывает трудно заставить работать сайты, использующие что-либо, кроме простой аутентификации по имени и паролю.
• Подсказка: если вы идете по этому пути, зачастую гораздо проще иметь дело с мобильной версией веб-сайта (если она доступна), по крайней мере, для этапа аутентификации.

Еще одно простое решение, которое сработало для меня, не устанавливая ничего лишнего:

• Откройте вкладку «Сеть» инструмента «Веб-разработчик» : Ctrl-Shift-E
• Перейдите на страницу, которую хотите сохранить (например, фотографию за логином)
• Щелкните правой кнопкой мыши запрос и выберите «Копировать» -> «Копировать как cURL».

Это даст вам команду, которую вы можете вставить прямо в вашу оболочку, которая имеет все ваши учетные данные cookie, например

curl 'https://mysite.test/my-secure-dir/picture1.jpg' \ 
-H 'User-Agent: Mozilla/5.0 ...' \
-H 'Cookie: SESSIONID=abcdef1234567890'

Затем вы можете изменить URL-адрес в команде, чтобы получить все, что вы хотите.

С cURL действительно легко обрабатывать куки в обоих направлениях.

curl www.target-url.com -c cookie.txtзатем сохранит файл с именем cookie.txt. Но вы должны войти в систему , поэтому необходимо использовать --data с аргументами типа: curl -X --data "var1=1&var2=2" www.target-url.com/login.php -c cookie.txt. Получив cookie-файл в журнале, вы можете отправить его: curl www.target-url.com/?user-page.php -b cookie.txt

Просто используйте -c (--cookie) или -b (--cookie-jar) для сохранения и отправки.

Примечание 1: Использование cURL CLI намного проще, чем PHP, и, возможно, быстрее;)

Для сохранения окончательного содержимого вы можете легко добавить его > filename.htmlв команду cURL, а затем сохранить полный HTML-код.

Примечание 2 о "full": Yo не может отобразить javascript с помощью cURL, просто получить исходный код.

Для тех, кто все еще интересуется этими вопросами, есть очень полезное расширение Chrome под названием CurlWGet, которое позволяет создавать wget/ curlзапрос с мерами аутентификации и т. Д. Одним щелчком мыши. Чтобы установить это расширение, выполните следующие действия:

1. Установите расширение из интернет- магазина Chrome .
2. Перейдите на веб-страницу, которую вы хотели бы скачать.
3. Начните загрузку.
4. Расширение сгенерирует для вас ссылку.

Наслаждайтесь!

В блоге Wget с Firefox Cookies показано, как получить доступ к файлу данных sqlite, в котором Firefox хранит свои куки. Таким образом, не нужно вручную экспортировать куки для использования с wget. Комментарий предполагает, что он не работает с сессионными куки, но он работал нормально для сайтов, с которыми я пробовал.

взгляните на кликет для Firefox.

Когда вы собираетесь загружать, в последнем диалоговом окне загрузки вы получаете возможность скопировать загрузку в виде командной строки curl в буфер обмена.

Вы пробовали это?

wget --user=username --password=password http://en.wikipedia.org/wiki/User:A

Попробуйте что-то вроде:

wget --keep-session-cookies --save-cookies cookies.txt --post-data 'user=goyamy&passwrd=mypassword' http://forum.ubuntu-it.org/

Смотрите также эту ссылку:

Как загрузить эту веб-страницу с помощью wget?

Для более сложных входов в систему на основе веб-сайта вы также должны использовать скрипт Python и некоторый модуль, имитирующий браузер, например http://wwwsearch.sourceforge.net/mechanize/ вместо curlили wget.

Таким образом, сеансовые куки-файлы обрабатываются автоматически, вы можете переходить по ссылкам и заполнять формы входа в систему, и, таким образом, «писать сценарии» в процессе входа в систему, как если бы вы использовали веб-браузер.