Pythonでプロキシを使用してSeleniumWebdriverを実行する


84

PythonでSeleniumWebdriverスクリプトを実行して、いくつかの基本的なタスクを実行しようとしています。Selenium IDEインターフェースを介してロボットを実行すると(つまり、GUIにアクションを繰り返すだけで)、ロボットを完全に機能させることができます。ただし、コードをPythonスクリプトとしてエクスポートし、コマンドラインから実行しようとすると、Firefoxブラウザーは開きますが、開始URLにアクセスできません(コマンドラインにエラーが返され、プログラムが停止します)。これは、アクセスしようとしているWebサイトなどに関係なく発生します。

デモの目的で、ここに非常に基本的なコードを含めました。返されるエラーはプロキシによって生成されているように見えるため、コードのプロキシセクションを正しく含めていないと思います。

どんな助けでも大歓迎です。

以下のコードは、単にwww.google.ieを開いて、「selenium」という単語を検索するためのものです。私にとっては、空のFirefoxブラウザを開いて停止します。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
import unittest, time, re
from selenium.webdriver.common.proxy import *

class Testrobot2(unittest.TestCase):
    def setUp(self):

        myProxy = "http://149.215.113.110:70"

        proxy = Proxy({
        'proxyType': ProxyType.MANUAL,
        'httpProxy': myProxy,
        'ftpProxy': myProxy,
        'sslProxy': myProxy,
        'noProxy':''})

        self.driver = webdriver.Firefox(proxy=proxy)
        self.driver.implicitly_wait(30)
        self.base_url = "https://www.google.ie/"
        self.verificationErrors = []
        self.accept_next_alert = True

    def test_robot2(self):
        driver = self.driver
        driver.get(self.base_url + "/#gs_rn=17&gs_ri=psy-ab&suggest=p&cp=6&gs_id=ix&xhr=t&q=selenium&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=seleni&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.47883778,d.ZGU&fp=7c0d9024de9ac6ab&biw=592&bih=665")
        driver.find_element_by_id("gbqfq").clear()
        driver.find_element_by_id("gbqfq").send_keys("selenium")

    def is_element_present(self, how, what):
        try: self.driver.find_element(by=how, value=what)
        except NoSuchElementException, e: return False
        return True

    def is_alert_present(self):
        try: self.driver.switch_to_alert()
        except NoAlertPresentException, e: return False
        return True

    def close_alert_and_get_its_text(self):
        try:
            alert = self.driver.switch_to_alert()
            alert_text = alert.text
            if self.accept_next_alert:
                alert.accept()
            else:
                alert.dismiss()
            return alert_text
        finally: self.accept_next_alert = True

    def tearDown(self):
        self.driver.quit()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

回答:


41

私にとってはこのように機能します(@Ameyおよび@ user4642224コードに似ていますが、少し短いです):

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

prox = Proxy()
prox.proxy_type = ProxyType.MANUAL
prox.http_proxy = "ip_addr:port"
prox.socks_proxy = "ip_addr:port"
prox.ssl_proxy = "ip_addr:port"

capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

2
これはうまくいきます、ありがとう。ドキュメントにリモートドライバを使用する必要があると書かれているのは奇妙です。
マン

driver = webdriver.Firefox(desired_capabilities = capabilities)TypeError:__ init __()が予期しないキーワード引数 'desired_capabilities'を取得したのはなぜですか?
リモ

33

このようなものはどうですか

PROXY = "149.215.113.110:70"

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "class":"org.openqa.selenium.Proxy",
    "autodetect":False
}

# you have to use remote, otherwise you'll have to code it yourself in python to 
driver = webdriver.Remote("http://localhost:4444/wd/hub", webdriver.DesiredCapabilities.FIREFOX)

あなたはそれについてもっと読むことができます


この答えは私にとってうまくいきました。他の誰かがEdgeでこれを行おうとしてもwebdriver.DesiredCapabilities.EDGE['proxy']、Microsoft Edgeには現在プロキシサーバーを構成する設定がないため、効果はありません(Edgeをプロキシで使用するには、Windowsネットワーク接続設定でプロキシを構成する必要があります)。 。
Steve HHH 2015年

1
完全な詳細なドキュメントについては、以下を参照してくださいgithub.com/SeleniumHQ/selenium/wiki/...
LeckieNi

14

私の解決策:

def my_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("general.useragent.override","whater_useragent")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

次に、コードを呼び出します。

my_proxy(PROXY_HOST,PROXY_PORT)

文字列をポート番号として渡していたため、このコードで問題が発生しました。

 PROXY_PORT="31280"

これは重要:

int("31280")

文字列の代わりに整数を渡す必要があります。そうしないと、Firefoxプロファイルが適切なポートに設定されず、プロキシを介した接続が機能しません。


1
ポートをintに変換する必要がありますか?これは、公式ページの間違った上でFirefoxのプロキシ例になるだろう:seleniumhq.org/docs/04_webdriver_advanced.jsp彼らの例では、PROXYHOST:PROXYPORTは、文字列として渡されます。
パイダーマン2015年

@Pyderman、あなたはProxy()クラスとFirefoxProfile()クラスを混同しています。プロファイル設定を使用して、IPとポートを別々に渡し、にキャストportする必要がありint()ます。ではProxy()クラスあなただけの文字列containig「IP:PORT」を渡し、確かにそれはあなたのための仕事の残りの部分はありません。
m3nda 2017年

7

sock5プロキシも設定してみてください。私は同じ問題に直面していました、そしてそれはソックスプロキシを使用することによって解決されます

def install_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.https",PROXY_HOST)
        fp.set_preference("network.proxy.https_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.ssl",PROXY_HOST)
        fp.set_preference("network.proxy.ssl_port",int(PROXY_PORT))  
        fp.set_preference("network.proxy.ftp",PROXY_HOST)
        fp.set_preference("network.proxy.ftp_port",int(PROXY_PORT))   
        fp.set_preference("network.proxy.socks",PROXY_HOST)
        fp.set_preference("network.proxy.socks_port",int(PROXY_PORT))   
        fp.set_preference("general.useragent.override","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

次にinstall_proxy ( ip , port ) 、プログラムから呼び出し ます。


プロキシ資格情報を受け入れるようにこれをどのように変更しますか?
nomaam

6

誰かが解決策を探しているなら、ここに方法があります:

from selenium import webdriver
PROXY = "YOUR_PROXY_ADDRESS_HERE"
webdriver.DesiredCapabilities.FIREFOX['proxy']={
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "autodetect":False
}
driver = webdriver.Firefox()
driver.get('http://www.whatsmyip.org/')

6

検証付きのプロキシ。これは、MykhailMartsyniukサンプルスクリプトから参照したまったく新しいPythonスクリプトです。

# Load webdriver
from selenium import webdriver

# Load proxy option
from selenium.webdriver.common.proxy import Proxy, ProxyType

# Configure Proxy Option
prox = Proxy()
prox.proxy_type = ProxyType.MANUAL

# Proxy IP & Port
prox.http_proxy = “0.0.0.0:00000”
prox.socks_proxy = “0.0.0.0:00000”
prox.ssl_proxy = “0.0.0.0:00000# Configure capabilities 
capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

# Configure ChromeOptions
driver = webdriver.Chrome(executable_path='/usr/local/share chromedriver',desired_capabilities=capabilities)

# Verify proxy ip
driver.get("http://www.whatsmyip.org/")

4

FirefoxProfileを設定してみてください

from selenium import webdriver
import time


"Define Both ProxyHost and ProxyPort as String"
ProxyHost = "54.84.95.51" 
ProxyPort = "8083"



def ChangeProxy(ProxyHost ,ProxyPort):
    "Define Firefox Profile with you ProxyHost and ProxyPort"
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 1)
    profile.set_preference("network.proxy.http", ProxyHost )
    profile.set_preference("network.proxy.http_port", int(ProxyPort))
    profile.update_preferences()
    return webdriver.Firefox(firefox_profile=profile)


def FixProxy():
    ""Reset Firefox Profile""
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 0)
    return webdriver.Firefox(firefox_profile=profile)


driver = ChangeProxy(ProxyHost ,ProxyPort)
driver.get("http://whatismyipaddress.com")

time.sleep(5)

driver = FixProxy()
driver.get("http://whatismyipaddress.com")

このプログラムは、Windows8とMacOSXの両方でテストされました。Mac OSXを使用していて、セレンを更新していない場合は、に直面する可能性がありselenium.common.exceptions.WebDriverExceptionます。もしそうなら、あなたのセレンをアップグレードした後に再試行してください

pip install -U selenium

4

上記の結果は正しいかもしれませんが、最新のWebドライバーでは機能しません。上記の質問に対する私の解決策は次のとおりです。シンプルで甘い


        http_proxy  = "ip_addr:port"
        https_proxy = "ip_addr:port"

        webdriver.DesiredCapabilities.FIREFOX['proxy']={
            "httpProxy":http_proxy,
            "sslProxy":https_proxy,
            "proxyType":"MANUAL"
        }

        driver = webdriver.Firefox()

または

    http_proxy  = "http://ip:port"
    https_proxy = "https://ip:port"

    proxyDict = {
                    "http"  : http_proxy,
                    "https" : https_proxy,
                }

    driver = webdriver.Firefox(proxy=proxyDict)

2

上記およびこの質問に対する回答は、Linux上のSelenium3.14およびFirefox68.9では機能しなかったか、不必要に複雑です。WPAD構成を使用する必要があり、プロキシの背後(VPN上)で使用する必要がありましたが、使用しない場合もありました。コードを少し勉強した後、私は思いついた:

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

proxy = Proxy({'proxyAutoconfigUrl': 'http://wpad/wpad.dat'})
profile = FirefoxProfile()
profile.set_proxy(proxy)
driver = webdriver.Firefox(firefox_profile=profile)

プロキシの初期化により、副作用としてproxyTypeがProxyType.PAC(URLからの自動構成)に設定されます。

また、以下を使用して、Firefoxの自動検出でも機能しました。

from selenium.webdriver.common.proxy import ProxyType

proxy = Proxy({'proxyType': ProxyType.AUTODETECT})

しかし、これはWPADのように内部URL(プロキシされていない)と外部(プロキシされている)の両方で機能するとは思いません。同様のプロキシ設定は、手動構成でも機能するはずです。可能なプロキシ設定は、ここのコード確認できます

proxy=proxyドライバーに関してProxyオブジェクトを直接渡すことは機能しないことに注意してください-それは受け入れられますが無視されます(非推奨の警告があるはずですが、私の場合はBehaveがそれを飲み込んでいると思います)。


0

@Duginiが述べているように、一部の構成エントリは削除されています。最大:

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":[],
    "proxyType":"MANUAL"
 }

0

これは私にとってはうまくいき、ヘッドレスブラウザを使用できるようになりました。プロキシを渡すメソッドを呼び出すだけです。

def setProxy(proxy):
        options = Options()
        options.headless = True
        #options.add_argument("--window-size=1920,1200")
        options.add_argument("--disable-dev-shm-usage")
        options.add_argument("--no-sandbox")
        prox = Proxy()
        prox.proxy_type = ProxyType.MANUAL
        prox.http_proxy = proxy
        prox.ssl_proxy = proxy
        capabilities = webdriver.DesiredCapabilities.CHROME
        prox.add_to_capabilities(capabilities)
        return webdriver.Chrome(desired_capabilities=capabilities, options=options, executable_path=DRIVER_PATH)

-1

Torサービスを実行してみて、次の関数をコードに追加してください。

def connect_tor(port):

socks.set_default_proxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', port, True)
socket.socket = socks.socksocket

def main():

connect_tor()
driver = webdriver.Firefox()

この投稿には情報がなく、connect_tor()関数とmain()関数には正しいインデントがなく、connect_tor()呼び出しには例の必須引数 "port"がありません。どのTorポートを使用する必要がありますか?Torのポート情報はどこで入手できますか?
カール
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.