У меня есть веб-сайт, и я хочу загрузить все страницы / ссылки на этом веб-сайте. Я хочу сделать wget -r
по этому URL. Ни одна из ссылок не выходит за пределы этого конкретного каталога, поэтому я не беспокоюсь о загрузке всего Интернета.
Оказывается, нужные мне страницы находятся за защищенным паролем разделом сайта. Хотя я мог бы использовать wget для ручного согласования файлов cookie, мне было бы намного проще просто «войти» из браузера и использовать какой-нибудь плагин firefox для рекурсивной загрузки всего.
Есть расширение или что-то, что позволит мне сделать это? Многие расширения фокусируются на получении медиа / картинок со страницы (хе-хе-хе), но меня интересует весь контент - HTML и все.
Предложения?
Благодарность!
редактировать
DownThemAll кажется классным предложением. Может ли это сделать рекурсивную загрузку? Как, например, загрузить все ссылки на странице, а затем загрузить все ссылки, содержащиеся на каждой из этих страниц, и т. Д.? Чтобы я в основном отражал все дерево каталогов по ссылкам? Вроде как -r
вариант wget
?
Вы можете использовать
wget -r
с куки из браузера, извлеченные после авторизации.Firefox имеет опцию «Копировать как cURL» в контекстном меню запроса страницы на вкладке «Сеть» Инструментов для веб-разработчиков, горячие клавиши Ctrl + Shift + Q (вам может потребоваться перезагрузить страницу после открытия инструментов):
Замените флаг заголовка curl на
-H
wget--header
, и у вас есть все необходимые заголовки, включая файлы cookie, чтобы продолжить сеанс браузера с помощью wget.источник