Запуск Selenium Webdriver с прокси на Python

Question 1

Я пытаюсь запустить сценарий Selenium Webdriver на Python для выполнения некоторых основных задач. Я могу заставить робота работать безупречно при запуске его через интерфейс Selenium IDE (то есть: когда просто заставляю графический интерфейс повторять мои действия). Однако, когда я экспортирую код как сценарий Python и пытаюсь выполнить его из командной строки, браузер Firefox откроется, но не сможет получить доступ к начальному URL-адресу (в командную строку возвращается ошибка, и программа останавливается). Это происходит со мной независимо от того, на какой веб-сайт и т. Д. Я пытаюсь получить доступ.

Я включил сюда очень простой код для демонстрационных целей. Я не думаю, что правильно включил прокси-раздел кода, поскольку возвращаемая ошибка, похоже, сгенерирована прокси.

Любая помощь будет очень признательна.

Приведенный ниже код просто предназначен для открытия www.google.ie и поиска слова «селен». Для меня он открывает пустой браузер Firefox и останавливается.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
import unittest, time, re
from selenium.webdriver.common.proxy import *

class Testrobot2(unittest.TestCase):
    def setUp(self):

        myProxy = "http://149.215.113.110:70"

        proxy = Proxy({
        'proxyType': ProxyType.MANUAL,
        'httpProxy': myProxy,
        'ftpProxy': myProxy,
        'sslProxy': myProxy,
        'noProxy':''})

        self.driver = webdriver.Firefox(proxy=proxy)
        self.driver.implicitly_wait(30)
        self.base_url = "https://www.google.ie/"
        self.verificationErrors = []
        self.accept_next_alert = True

    def test_robot2(self):
        driver = self.driver
        driver.get(self.base_url + "/#gs_rn=17&gs_ri=psy-ab&suggest=p&cp=6&gs_id=ix&xhr=t&q=selenium&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=seleni&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.47883778,d.ZGU&fp=7c0d9024de9ac6ab&biw=592&bih=665")
        driver.find_element_by_id("gbqfq").clear()
        driver.find_element_by_id("gbqfq").send_keys("selenium")

    def is_element_present(self, how, what):
        try: self.driver.find_element(by=how, value=what)
        except NoSuchElementException, e: return False
        return True

    def is_alert_present(self):
        try: self.driver.switch_to_alert()
        except NoAlertPresentException, e: return False
        return True

    def close_alert_and_get_its_text(self):
        try:
            alert = self.driver.switch_to_alert()
            alert_text = alert.text
            if self.accept_next_alert:
                alert.accept()
            else:
                alert.dismiss()
            return alert_text
        finally: self.accept_next_alert = True

    def tearDown(self):
        self.driver.quit()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

Question 2

У меня работает так (похоже на код @Amey и @ user4642224, но немного короче):

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

prox = Proxy()
prox.proxy_type = ProxyType.MANUAL
prox.http_proxy = "ip_addr:port"
prox.socks_proxy = "ip_addr:port"
prox.ssl_proxy = "ip_addr:port"

capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

Question 3

Как насчет этого

PROXY = "149.215.113.110:70"

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "class":"org.openqa.selenium.Proxy",
    "autodetect":False
}

# you have to use remote, otherwise you'll have to code it yourself in python to 
driver = webdriver.Remote("http://localhost:4444/wd/hub", webdriver.DesiredCapabilities.FIREFOX)

Вы можете прочитать об этом здесь .

Question 4

Мое решение:

def my_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("general.useragent.override","whater_useragent")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

Затем введите свой код:

my_proxy(PROXY_HOST,PROXY_PORT)

У меня были проблемы с этим кодом, потому что я передавал строку как номер порта:

 PROXY_PORT="31280"

Это важно:

int("31280")

Вы должны передать целое число вместо строки, иначе ваш профиль Firefox не будет настроен на правильный порт и соединение через прокси не будет работать.

Question 5

Попробуйте также настроить прокси sock5. Я столкнулся с той же проблемой, и она решается с помощью прокси-сервера socks.

def install_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.https",PROXY_HOST)
        fp.set_preference("network.proxy.https_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.ssl",PROXY_HOST)
        fp.set_preference("network.proxy.ssl_port",int(PROXY_PORT))  
        fp.set_preference("network.proxy.ftp",PROXY_HOST)
        fp.set_preference("network.proxy.ftp_port",int(PROXY_PORT))   
        fp.set_preference("network.proxy.socks",PROXY_HOST)
        fp.set_preference("network.proxy.socks_port",int(PROXY_PORT))   
        fp.set_preference("general.useragent.override","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

Потом звоните install_proxy ( ip , port ) из своей программы.

Question 6

Прокси с проверкой. Это совершенно новый скрипт на Python, отсылка к образцу скрипта Михаила Марцынюка.

# Load webdriver
from selenium import webdriver

# Load proxy option
from selenium.webdriver.common.proxy import Proxy, ProxyType

# Configure Proxy Option
prox = Proxy()
prox.proxy_type = ProxyType.MANUAL

# Proxy IP & Port
prox.http_proxy = “0.0.0.0:00000”
prox.socks_proxy = “0.0.0.0:00000”
prox.ssl_proxy = “0.0.0.0:00000”

# Configure capabilities 
capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

# Configure ChromeOptions
driver = webdriver.Chrome(executable_path='/usr/local/share chromedriver',desired_capabilities=capabilities)

# Verify proxy ip
driver.get("http://www.whatsmyip.org/")

Question 7

Если кто-то ищет решение, вот как:

from selenium import webdriver
PROXY = "YOUR_PROXY_ADDRESS_HERE"
webdriver.DesiredCapabilities.FIREFOX['proxy']={
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "autodetect":False
}
driver = webdriver.Firefox()
driver.get('http://www.whatsmyip.org/')

Question 8

Попробуйте настроить FirefoxProfile

from selenium import webdriver
import time


"Define Both ProxyHost and ProxyPort as String"
ProxyHost = "54.84.95.51" 
ProxyPort = "8083"



def ChangeProxy(ProxyHost ,ProxyPort):
    "Define Firefox Profile with you ProxyHost and ProxyPort"
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 1)
    profile.set_preference("network.proxy.http", ProxyHost )
    profile.set_preference("network.proxy.http_port", int(ProxyPort))
    profile.update_preferences()
    return webdriver.Firefox(firefox_profile=profile)


def FixProxy():
    ""Reset Firefox Profile""
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 0)
    return webdriver.Firefox(firefox_profile=profile)


driver = ChangeProxy(ProxyHost ,ProxyPort)
driver.get("http://whatismyipaddress.com")

time.sleep(5)

driver = FixProxy()
driver.get("http://whatismyipaddress.com")

Эта программа протестирована как на Windows 8, так и на Mac OSX. Если вы используете Mac OSX и у вас не обновлен селен, вы можете столкнуться с этим selenium.common.exceptions.WebDriverException. Если да, то попробуйте еще раз после обновления вашего селена.

pip install -U selenium

Question 9

Указанный выше результат может быть правильным, но не работает с последней версией webdriver. Вот мое решение вышеуказанного вопроса. Просто и мило


        http_proxy  = "ip_addr:port"
        https_proxy = "ip_addr:port"

        webdriver.DesiredCapabilities.FIREFOX['proxy']={
            "httpProxy":http_proxy,
            "sslProxy":https_proxy,
            "proxyType":"MANUAL"
        }

        driver = webdriver.Firefox()

ИЛИ ЖЕ

    http_proxy  = "http://ip:port"
    https_proxy = "https://ip:port"

    proxyDict = {
                    "http"  : http_proxy,
                    "https" : https_proxy,
                }

    driver = webdriver.Firefox(proxy=proxyDict)

Question 10

Ответы выше и на этот вопрос либо не работали для меня с Selenium 3.14 и Firefox 68.9 в Linux, либо являются излишне сложными. Мне нужно было использовать конфигурацию WPAD, иногда за прокси (в VPN), а иногда и нет. Немного изучив код, я придумал:

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

proxy = Proxy({'proxyAutoconfigUrl': 'http://wpad/wpad.dat'})
profile = FirefoxProfile()
profile.set_proxy(proxy)
driver = webdriver.Firefox(firefox_profile=profile)

Инициализация Proxy устанавливает proxyType в ProxyType.PAC (автоконфигурация из URL-адреса) в качестве побочного эффекта.

Он также работал с автоопределением Firefox, используя:

from selenium.webdriver.common.proxy import ProxyType

proxy = Proxy({'proxyType': ProxyType.AUTODETECT})

Но я не думаю, что это будет работать как с внутренними URL (не проксируемыми), так и внешними (проксированными), как это делает WPAD. Подобные настройки прокси должны работать и для ручной настройки. Возможные настройки прокси можно увидеть в коде здесь .

Обратите внимание, что прямая передача объекта Proxy proxy=proxyв качестве драйвера НЕ работает - он принимается, но игнорируется (должно быть предупреждение об устаревании, но в моем случае я думаю, что Behave его проглатывает).

Question 11

Как заявил @Dugini, некоторые записи конфигурации были удалены. Максимальный:

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":[],
    "proxyType":"MANUAL"
 }

Question 12

Это сработало для меня и позволило использовать браузер без головы, вам просто нужно вызвать метод, передающий ваш прокси.

def setProxy(proxy):
        options = Options()
        options.headless = True
        #options.add_argument("--window-size=1920,1200")
        options.add_argument("--disable-dev-shm-usage")
        options.add_argument("--no-sandbox")
        prox = Proxy()
        prox.proxy_type = ProxyType.MANUAL
        prox.http_proxy = proxy
        prox.ssl_proxy = proxy
        capabilities = webdriver.DesiredCapabilities.CHROME
        prox.add_to_capabilities(capabilities)
        return webdriver.Chrome(desired_capabilities=capabilities, options=options, executable_path=DRIVER_PATH)

Question 13

попробуйте запустить службу tor, добавьте в свой код следующую функцию.

def connect_tor(port):

socks.set_default_proxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', port, True)
socket.socket = socks.socksocket

def main():

connect_tor()
driver = webdriver.Firefox()

Answer 1

Я пытаюсь запустить сценарий Selenium Webdriver на Python для выполнения некоторых основных задач. Я могу заставить робота работать безупречно при запуске его через интерфейс Selenium IDE (то есть: когда просто заставляю графический интерфейс повторять мои действия). Однако, когда я экспортирую код как сценарий Python и пытаюсь выполнить его из командной строки, браузер Firefox откроется, но не сможет получить доступ к начальному URL-адресу (в командную строку возвращается ошибка, и программа останавливается). Это происходит со мной независимо от того, на какой веб-сайт и т. Д. Я пытаюсь получить доступ.

Я включил сюда очень простой код для демонстрационных целей. Я не думаю, что правильно включил прокси-раздел кода, поскольку возвращаемая ошибка, похоже, сгенерирована прокси.

Любая помощь будет очень признательна.

Приведенный ниже код просто предназначен для открытия www.google.ie и поиска слова «селен». Для меня он открывает пустой браузер Firefox и останавливается.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
import unittest, time, re
from selenium.webdriver.common.proxy import *

class Testrobot2(unittest.TestCase):
    def setUp(self):

        myProxy = "http://149.215.113.110:70"

        proxy = Proxy({
        'proxyType': ProxyType.MANUAL,
        'httpProxy': myProxy,
        'ftpProxy': myProxy,
        'sslProxy': myProxy,
        'noProxy':''})

        self.driver = webdriver.Firefox(proxy=proxy)
        self.driver.implicitly_wait(30)
        self.base_url = "https://www.google.ie/"
        self.verificationErrors = []
        self.accept_next_alert = True

    def test_robot2(self):
        driver = self.driver
        driver.get(self.base_url + "/#gs_rn=17&gs_ri=psy-ab&suggest=p&cp=6&gs_id=ix&xhr=t&q=selenium&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=seleni&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.47883778,d.ZGU&fp=7c0d9024de9ac6ab&biw=592&bih=665")
        driver.find_element_by_id("gbqfq").clear()
        driver.find_element_by_id("gbqfq").send_keys("selenium")

    def is_element_present(self, how, what):
        try: self.driver.find_element(by=how, value=what)
        except NoSuchElementException, e: return False
        return True

    def is_alert_present(self):
        try: self.driver.switch_to_alert()
        except NoAlertPresentException, e: return False
        return True

    def close_alert_and_get_its_text(self):
        try:
            alert = self.driver.switch_to_alert()
            alert_text = alert.text
            if self.accept_next_alert:
                alert.accept()
            else:
                alert.dismiss()
            return alert_text
        finally: self.accept_next_alert = True

    def tearDown(self):
        self.driver.quit()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

Answer 2

41

У меня работает так (похоже на код @Amey и @ user4642224, но немного короче):

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

prox = Proxy()
prox.proxy_type = ProxyType.MANUAL
prox.http_proxy = "ip_addr:port"
prox.socks_proxy = "ip_addr:port"
prox.ssl_proxy = "ip_addr:port"

capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

Михаил Марцынюк
источник

2

это работает, спасибо. странно, что в документах написано, что вам нужно использовать удаленный драйвер.

Mans

драйвер = webdriver.Firefox (желаемые_capabilities = возможности) TypeError: __init __ () получил неожиданный аргумент ключевого слова 'желаемые_ возможности', почему?

Римо

Answer 3

2

это работает, спасибо. странно, что в документах написано, что вам нужно использовать удаленный драйвер.

Mans

Answer 4

драйвер = webdriver.Firefox (желаемые_capabilities = возможности) TypeError: __init __ () получил неожиданный аргумент ключевого слова 'желаемые_ возможности', почему?

Римо

Answer 5

33

Как насчет этого

PROXY = "149.215.113.110:70"

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "class":"org.openqa.selenium.Proxy",
    "autodetect":False
}

# you have to use remote, otherwise you'll have to code it yourself in python to 
driver = webdriver.Remote("http://localhost:4444/wd/hub", webdriver.DesiredCapabilities.FIREFOX)

Вы можете прочитать об этом здесь .

Amey
источник

Этот ответ сработал для меня. В случае, если кто-то еще пытается сделать это с помощью Edge, webdriver.DesiredCapabilities.EDGE['proxy']это не имеет никакого эффекта, потому что в Microsoft Edge в настоящее время нет параметра для настройки прокси-сервера (для использования Edge с прокси-сервером необходимо настроить прокси в настройках сетевого подключения Windows) .

Steve HHH

1

Полный подробный документ см .: github.com/SeleniumHQ/selenium/wiki/…

LeckieNi

Answer 6

Этот ответ сработал для меня. В случае, если кто-то еще пытается сделать это с помощью Edge, webdriver.DesiredCapabilities.EDGE['proxy']это не имеет никакого эффекта, потому что в Microsoft Edge в настоящее время нет параметра для настройки прокси-сервера (для использования Edge с прокси-сервером необходимо настроить прокси в настройках сетевого подключения Windows) .

Steve HHH

Answer 7

1

Полный подробный документ см .: github.com/SeleniumHQ/selenium/wiki/…

LeckieNi

Answer 8

Мое решение:

def my_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("general.useragent.override","whater_useragent")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

Затем введите свой код:

my_proxy(PROXY_HOST,PROXY_PORT)

У меня были проблемы с этим кодом, потому что я передавал строку как номер порта:

 PROXY_PORT="31280"

Это важно:

int("31280")

Вы должны передать целое число вместо строки, иначе ваш профиль Firefox не будет настроен на правильный порт и соединение через прокси не будет работать.

Answer 9

1

Порт нужно преобразовать в int? Это сделало бы пример прокси Firefox на официальной странице неверным: seleniumhq.org/docs/04_webdriver_advanced.jsp В их примере PROXYHOST: PROXYPORT передается как строка.

Pyderman

Answer 10

@Pyderman, ты путаешь Proxy()класс с FirefoxProfile()классом. Используя настройки профиля, вы должны передавать ip и порт отдельно, а трансляцию portв int(). В Proxy()классе вы просто передаете строку, содержащую «IP: PORT», и, конечно же, остальную работу он сделает за вас.

m3nda 02

Answer 11

Попробуйте также настроить прокси sock5. Я столкнулся с той же проблемой, и она решается с помощью прокси-сервера socks.

def install_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.https",PROXY_HOST)
        fp.set_preference("network.proxy.https_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.ssl",PROXY_HOST)
        fp.set_preference("network.proxy.ssl_port",int(PROXY_PORT))  
        fp.set_preference("network.proxy.ftp",PROXY_HOST)
        fp.set_preference("network.proxy.ftp_port",int(PROXY_PORT))   
        fp.set_preference("network.proxy.socks",PROXY_HOST)
        fp.set_preference("network.proxy.socks_port",int(PROXY_PORT))   
        fp.set_preference("general.useragent.override","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

Потом звоните install_proxy ( ip , port ) из своей программы.

Answer 12

как бы вы изменили это, чтобы принимать учетные данные прокси?

nomaam 03 янв.2020,

Answer 13

Прокси с проверкой. Это совершенно новый скрипт на Python, отсылка к образцу скрипта Михаила Марцынюка.

# Load webdriver
from selenium import webdriver

# Load proxy option
from selenium.webdriver.common.proxy import Proxy, ProxyType

# Configure Proxy Option
prox = Proxy()
prox.proxy_type = ProxyType.MANUAL

# Proxy IP & Port
prox.http_proxy = “0.0.0.0:00000”
prox.socks_proxy = “0.0.0.0:00000”
prox.ssl_proxy = “0.0.0.0:00000”

# Configure capabilities 
capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

# Configure ChromeOptions
driver = webdriver.Chrome(executable_path='/usr/local/share chromedriver',desired_capabilities=capabilities)

# Verify proxy ip
driver.get("http://www.whatsmyip.org/")

Answer 14

Если кто-то ищет решение, вот как:

from selenium import webdriver
PROXY = "YOUR_PROXY_ADDRESS_HERE"
webdriver.DesiredCapabilities.FIREFOX['proxy']={
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "autodetect":False
}
driver = webdriver.Firefox()
driver.get('http://www.whatsmyip.org/')

Answer 15

Попробуйте настроить FirefoxProfile

from selenium import webdriver
import time


"Define Both ProxyHost and ProxyPort as String"
ProxyHost = "54.84.95.51" 
ProxyPort = "8083"



def ChangeProxy(ProxyHost ,ProxyPort):
    "Define Firefox Profile with you ProxyHost and ProxyPort"
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 1)
    profile.set_preference("network.proxy.http", ProxyHost )
    profile.set_preference("network.proxy.http_port", int(ProxyPort))
    profile.update_preferences()
    return webdriver.Firefox(firefox_profile=profile)


def FixProxy():
    ""Reset Firefox Profile""
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 0)
    return webdriver.Firefox(firefox_profile=profile)


driver = ChangeProxy(ProxyHost ,ProxyPort)
driver.get("http://whatismyipaddress.com")

time.sleep(5)

driver = FixProxy()
driver.get("http://whatismyipaddress.com")

Эта программа протестирована как на Windows 8, так и на Mac OSX. Если вы используете Mac OSX и у вас не обновлен селен, вы можете столкнуться с этим selenium.common.exceptions.WebDriverException. Если да, то попробуйте еще раз после обновления вашего селена.

pip install -U selenium

Answer 16

Указанный выше результат может быть правильным, но не работает с последней версией webdriver. Вот мое решение вышеуказанного вопроса. Просто и мило


        http_proxy  = "ip_addr:port"
        https_proxy = "ip_addr:port"

        webdriver.DesiredCapabilities.FIREFOX['proxy']={
            "httpProxy":http_proxy,
            "sslProxy":https_proxy,
            "proxyType":"MANUAL"
        }

        driver = webdriver.Firefox()

ИЛИ ЖЕ

    http_proxy  = "http://ip:port"
    https_proxy = "https://ip:port"

    proxyDict = {
                    "http"  : http_proxy,
                    "https" : https_proxy,
                }

    driver = webdriver.Firefox(proxy=proxyDict)

Answer 17

Ответы выше и на этот вопрос либо не работали для меня с Selenium 3.14 и Firefox 68.9 в Linux, либо являются излишне сложными. Мне нужно было использовать конфигурацию WPAD, иногда за прокси (в VPN), а иногда и нет. Немного изучив код, я придумал:

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

proxy = Proxy({'proxyAutoconfigUrl': 'http://wpad/wpad.dat'})
profile = FirefoxProfile()
profile.set_proxy(proxy)
driver = webdriver.Firefox(firefox_profile=profile)

Инициализация Proxy устанавливает proxyType в ProxyType.PAC (автоконфигурация из URL-адреса) в качестве побочного эффекта.

Он также работал с автоопределением Firefox, используя:

from selenium.webdriver.common.proxy import ProxyType

proxy = Proxy({'proxyType': ProxyType.AUTODETECT})

Но я не думаю, что это будет работать как с внутренними URL (не проксируемыми), так и внешними (проксированными), как это делает WPAD. Подобные настройки прокси должны работать и для ручной настройки. Возможные настройки прокси можно увидеть в коде здесь .

Обратите внимание, что прямая передача объекта Proxy proxy=proxyв качестве драйвера НЕ работает - он принимается, но игнорируется (должно быть предупреждение об устаревании, но в моем случае я думаю, что Behave его проглатывает).

Answer 18

Как заявил @Dugini, некоторые записи конфигурации были удалены. Максимальный:

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":[],
    "proxyType":"MANUAL"
 }

Answer 19

Это сработало для меня и позволило использовать браузер без головы, вам просто нужно вызвать метод, передающий ваш прокси.

def setProxy(proxy):
        options = Options()
        options.headless = True
        #options.add_argument("--window-size=1920,1200")
        options.add_argument("--disable-dev-shm-usage")
        options.add_argument("--no-sandbox")
        prox = Proxy()
        prox.proxy_type = ProxyType.MANUAL
        prox.http_proxy = proxy
        prox.ssl_proxy = proxy
        capabilities = webdriver.DesiredCapabilities.CHROME
        prox.add_to_capabilities(capabilities)
        return webdriver.Chrome(desired_capabilities=capabilities, options=options, executable_path=DRIVER_PATH)

Answer 20

-2

попробуйте запустить службу tor, добавьте в свой код следующую функцию.

def connect_tor(port):

socks.set_default_proxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', port, True)
socket.socket = socks.socksocket

def main():

connect_tor()
driver = webdriver.Firefox()

o.awajan
источник

В этом сообщении отсутствует информация, функции connect_tor () и main () не имеют правильного отступа, а в вызове connect_tor () отсутствует обязательный аргумент «порт» в примере. Какой порт tor я должен использовать? Где я могу получить информацию о порте Tor?

Karl

Сеть Tor (даже если добавляет дополнительный уровень анонимности) очень медленная.

Skeptic

Answer 21

В этом сообщении отсутствует информация, функции connect_tor () и main () не имеют правильного отступа, а в вызове connect_tor () отсутствует обязательный аргумент «порт» в примере. Какой порт tor я должен использовать? Где я могу получить информацию о порте Tor?

Karl

Answer 22

Сеть Tor (даже если добавляет дополнительный уровень анонимности) очень медленная.

Skeptic

Запуск Selenium Webdriver с прокси на Python

Ответы: