Есть ли какие-нибудь хорошие инструменты, кроме SeleniumRC, которые могут извлекать веб-страницы, включая контент, написанный после JavaScript?

8

Одним из основных недостатков curlявляется то, что все больше и больше веб-страниц окрашивают свой основной контент в ответ JavaScript AJAX, который происходит после первоначального ответа HTTP. curlникогда не узнает об этом пост-окрашенном контенте.

Поэтому, чтобы получить эти типы веб-страниц из командной строки, я был ограничен написанием сценариев на Ruby, которые приводят SeleniumRC к запуску экземпляра Firefox, а затем возвращают исходный HTML-код после завершения этих вызовов AJAX.

Было бы намного лучше иметь более компактное решение командной строки для этого типа проблемы. Кто-нибудь знает что-нибудь?

wget http html curl selenium Дан
источник
Никто не предложил что-нибудь еще о. Есть ли у кого-нибудь здесь опыт автоматизации некоторых задач в веб-приложениях с помощью curl? , но этот вопрос специально не задавался о чистке Javascript.
Жиль "ТАК - перестать быть злым"

Ответы:

2

Я только недавно начал использовать WebDriver из Selenium 2 в Java. Существует драйвер с именем HtmlUnitDriver, который полностью поддерживает JavaScript, но не запускает реальный браузер.

Это не легкое решение, но оно выполняет свою работу.

Я разработал код для запуска из командной строки и сохранения веб-данных в файлы.

Майкл Ганц
источник
2

Вы рассматривали Watir?

http://watir.com/

Когда вы добавили пакет, вы можете запустить его как отдельный файл или irbпострочно после include 'watir-webdriver'. Я обнаружил, что он более отзывчивый selenium-webdriver, но без графического интерфейса для записи тестов, который помогает разрабатывать сложные условия тестирования.

Rogue_Leader
источник