Скачать рабочую локальную копию веб-страницы [закрыто]

211

Я хотел бы скачать локальную копию веб-страницы и получить все CSS, изображения, JavaScript и т. Д.

В предыдущих обсуждениях (например, здесь и здесь , обоим из которых более двух лет), обычно выдвигаются два предложения: wget -pи httrack . Однако оба эти предложения терпят неудачу. Я был бы очень признателен за помощь в использовании любого из этих инструментов для выполнения задачи; альтернативы тоже прекрасны.


Опция 1: wget -p

wget -pуспешно загружает все необходимые компоненты веб-страницы (css, images, js). Однако, когда я загружаю локальную копию в веб-браузер, страница не может загрузить предварительные условия, поскольку пути к этим предварительным условиям не были изменены из версии в Интернете.

Например:

  • В html страницы <link rel="stylesheet href="https://stackoverflow.com/stylesheets/foo.css" />необходимо будет исправить указание на новый относительный путьfoo.css
  • В CSS-файле background-image: url(/images/bar.png)аналогичным образом нужно будет настроить.

Есть ли способ изменить wget -pтак, чтобы пути были правильными?


Вариант 2: httrack

httrackкажется отличным инструментом для зеркалирования целых веб-сайтов, но мне неясно, как его использовать для создания локальной копии одной страницы. На форумах httrack есть много дискуссий на эту тему (например, здесь ), но никто, кажется, не имеет пуленепробиваемого решения.


Вариант 3: еще один инструмент?

Некоторые люди предлагают платные инструменты, но я просто не могу поверить, что там нет бесплатного решения.

Brahn
источник
19
Если ответ не работает, попробуйте: wget -E -H -k -K -p http://example.com- только это сработало для меня.
Предоставлено
Для этого также есть программное обеспечение, Teleport Pro .
pbies
3
wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com
ДэвидКондри

Ответы:

262

Wget способен делать то, что вы просите. Просто попробуйте следующее:

wget -p -k http://www.example.com/

-pПолучит вам все необходимые элементы для правильного отображения сайта (CSS, изображения и т.д.). -kИзменит все ссылки (включая те , для CSS и изображений) , чтобы позволить Вам просматривать страницы в автономном режиме , как он появился в Интернете.

Из документов Wget:

‘-k’
‘--convert-links’
After the download is complete, convert the links in the document to make them
suitable for local viewing. This affects not only the visible hyperlinks, but
any part of the document that links to external content, such as embedded images,
links to style sheets, hyperlinks to non-html content, etc.

Each link will be changed in one of the two ways:

    The links to files that have been downloaded by Wget will be changed to refer
    to the file they point to as a relative link.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif, also
    downloaded, then the link in doc.html will be modified to point to
    ‘../bar/img.gif’. This kind of transformation works reliably for arbitrary
    combinations of directories.

    The links to files that have not been downloaded by Wget will be changed to
    include host name and absolute path of the location they point to.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif (or to
    ../bar/img.gif), then the link in doc.html will be modified to point to
    http://hostname/bar/img.gif. 

Because of this, local browsing works reliably: if a linked file was downloaded,
the link will refer to its local name; if it was not downloaded, the link will
refer to its full Internet address rather than presenting a broken link. The fact
that the former links are converted to relative links ensures that you can move
the downloaded hierarchy to another directory.

Note that only at the end of the download can Wget know which links have been
downloaded. Because of that, the work done by ‘-k’ will be performed at the end
of all the downloads. 
Серк
источник
2
Я пробовал это, но почему-то index.html#link-to-element-on-same-pageперестали работать внутренние ссылки, такие как .
rhand
3
Весь сайт: snipplr.com/view/23838/downloading-an-entire-web-site-with-wget
Федир РИХТИК,
12
Некоторые серверы -U 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.6) Gecko/20070802 SeaMonkey/1.1.4'
ответят
45
Если вы обнаружите, что у вас все еще отсутствуют изображения и т. Д., Попробуйте добавить это: -e robots = off ..... wget на самом деле читает и уважает robots.txt - мне действительно трудно понять, почему ничего работал!
Джон Хант
24
чтобы получить ресурсы от использования внешних хостов-H, --span-hosts
davidhq