Зеркальное отображение веб-сайта за формой входа

10

Укороченная версия:

  • Я хотел бы создать автономную копию URL, которая включает в себя полные изображения HTML + CSS + JS + и сохраняет их локально, сохраняя структуру и содержимое файла исходного сайта.
  • У меня проблемы с инструментами, которые я могу найти (например, «Сохранить завершено», расширение Firefox, HTTrack, wget, Teleport Pro) отчасти потому, что URL находится за формой входа.

Более длинная версия:

При работе над моим приложением я часто хочу получить полную автономную версию изображений HTML + CSS + JS + для отправки разработчику, с которым я работаю, который вносит изменения и отправляет их обратно. Затем я применяю изменения к приложению.

Оказалось, что это гораздо эффективнее, чем когда он / она перемещается по нашему коду с помощью живого приложения, но есть одна загвоздка - я не могу найти удобное приложение для зеркального отображения.

Расширения Firefox, такие как «Save Complete», уже имеют cookie для входа в систему, поэтому не волнуйтесь, что они находятся за формой входа, но они искажают локально сохраненные файлы, делая невозможным работу с ними.

Инструменты зеркалирования, такие как wget или Teleport Pro, не поддерживают нашу форму входа.

HTTrack, однако, должен быть в состоянии работать в режиме прокси, чтобы обнаружить информацию для входа в систему, но я никогда не смог заставить ее работать. В качестве запасного варианта он может принимать файлы cookie, которые я жестко подключил к его файлу cookies.txt, но мне всегда требуется несколько часов, чтобы сделать это надежно.

Какие-нибудь инструменты, расширения браузера и т. Д., Которые могли бы сделать это? Открытый исходный код, коммерческий - все что угодно. Если я неправильно использовал HTTrack и это на самом деле тривиально - это тоже отличный ответ.

orip
источник

Ответы:

7

С HTTrack вы можете использовать файл cookies.txt при загрузке. Я использовал это, чтобы успешно отразить сайт Moodle.

TheLQ
источник
Спасибо - я делал это раньше с HTTrack, но по какой-то причине мне всегда нужно несколько попыток, чтобы заставить его работать, хотя я не вижу причины, почему. Вы когда-нибудь использовали встроенную поддержку проверки подлинности форм? Это никогда не работало для моего сайта. httrack.kauler.com/help/CatchURL_tutorial
orip
2
Я выполнил вход в свой браузер и экспортировал файл cookies.txt, добавил страницу выхода в черный список и позволил ей работать. Мне
потребовалось
5

Я сделал это успешно с WinHTTrack . Вы можете следовать обычной процедуре захвата веб-сайта с двумя незначительными изменениями настроек:

  1. В Chrome откройте Dev Tools, затем войдите на веб-сайт, который вам нужен. На вкладке «Сеть» щелкните HTML-страницу, которую вы запросили, чтобы найти файл cookie сеанса (имя этого файла будет отличаться в зависимости от используемой серверной структуры). Поместите это в HTTrack в разделе «Дополнительные заголовки HTTP».

  2. Также убедитесь, что ваша строка агента пользователя совпадает, так как иногда сеансы блокируются, если строка агента пользователя изменяется.

    Сессионные куки вход в HTTrack

  3. Начните скачивать сайт. Результат должен быть таким, как будто вы вошли в систему.

Саймон Ист
источник
3

Вы пробовали Offline Explorer ?

Я помню что-то подобное, что позволит вам войти в систему, сохраняя куки для последующих запросов и сделает все остальное. Не уверен на 100%, поскольку я использовал это давным-давно.

Pablo
источник
Круто, похоже, что Pro версия поддерживает POST в формах, я проверю это
orip
Мне потребовалось некоторое время, чтобы выяснить это, и документация была скудной, но я понял, что могу использовать встроенный браузер на основе IE, чтобы войти в форму и затем выбрать «Добавить следующую нажатую ссылку как проект». Функция «автосохранения» также была приятной, хотя иногда она испортила мою форму. Я собираюсь сделать это в течение 30 дней, возможно, это то, что я ищу.
orip
2

Teleport Pro позволяет использовать логин и пароль.

Когда вы запустите Мастер создания нового проекта, вы придете к моменту, когда он предоставит вам эту опцию (я думаю, что он находится на третьем экране опций).

И даже если вы пропустите это, вы можете снова получить доступ к этой опции.

В главном окне (после того, как вы ознакомились с мастером проектов) щелкните правой кнопкой мыши ваш проект (на левой панели маленький значок папки, отображающий URL-адрес, который вы пытаетесь загрузить), выберите последний вариант, Starting Address Propertiesи вы увидите экран параметров. где вы можете указать логин и пароль пользователя для использования на этом сайте.

помощник
источник
Это древний вопрос, но teleport pro поддерживает http auth , не вводя данные в формы POST.
Фальшивое имя