Просто коротко о простом модуле Requests для Python.
Я не могу найти в документации то, что должна содержать переменная «прокси». Когда я посылаю ему диктет со стандартным значением «IP: PORT», он отклоняет его, запрашивая 2 значения. Итак, я думаю (потому что это не рассматривается в документации), что первое значение - это ip, а второе - порт?
Документы упоминают только об этом:
прокси - (необязательно) протокол сопоставления словаря с URL прокси.
Я попробовал это ... что мне делать?
proxy = { ip: port}
и я должен преобразовать это в некоторый тип прежде, чем поместить их в dict?
r = requests.get(url,headers=headers,proxies=proxy)
источник
urllib3
так что мне придется изучить это. Спасибо за внимание.Я обнаружил, что у urllib есть действительно хороший код, чтобы подобрать настройки прокси системы, и они оказались в правильной форме для непосредственного использования. Вы можете использовать это как:
Он работает очень хорошо, и urllib также знает о настройках Mac OS X и Windows.
источник
module 'urllib' has no attribute 'getproxies'
Вы можете обратиться к документации прокси здесь .
Если вам нужно использовать прокси, вы можете настроить отдельные запросы с аргументом прокси для любого метода запроса:
Чтобы использовать HTTP Basic Auth с вашим прокси, используйте синтаксис http: // user: password@host.com/ :
источник
Принятый ответ был хорошим началом для меня, но я продолжал получать следующую ошибку:
Чтобы исправить это, нужно было указать http: // в URL прокси:
Мне было бы интересно, почему оригинал работает для некоторых людей, но не для меня.
Изменить: я вижу, основной ответ теперь обновляется, чтобы отразить это :)
источник
Если вы хотите сохранить файлы cookie и данные сеанса, лучше всего сделать это следующим образом:
источник
8 лет с опозданием. Но мне нравится:
источник
Вот мой базовый класс в Python для модуля запросов с некоторыми настройками прокси и секундомером!
источник
Я только что сделал прокси грабера, а также может подключиться с тем же прокси без каких-либо входных данных здесь:
источник
Немного поздно, но вот класс-оболочка, который упрощает очистку прокси-серверов, а затем делает http POST или GET:
ProxyRequests
источник
Я делюсь некоторым кодом, как получать прокси с сайта «https://free-proxy-list.net» и хранить данные в файле, совместимом с такими инструментами, как «Elite Proxy Switcher» (формат IP: PORT):
## PROXY_UPDATER - получить бесплатные прокси с https://free-proxy-list.net/
источник