HTMLソースにアクセスするPython Selenium

PythonでSeleniumモジュールを使用して変数でHTMLソースを取得するにはどうすればよいですか？

私はこのようなことをしたかった：

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")
if "whatever" in html_source:
    # Do something
else:
    # Do something else

これどうやってするの？HTMLソースにアクセスする方法がわかりません。

page_sourceプロパティにアクセスする必要があります。

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")

html_source = browser.page_source
if "whatever" in html_source:
    # do something
else:
    # do something else

Selenium2Libraryを使用すると、 get_source()

import Selenium2Library
s = Selenium2Library.Selenium2Library()
s.open_browser("localhost:7080", "firefox")
source = s.get_source()

driver.page_sourceは、ページのソースコードを取得するのに役立ちます。テキストがページソースに存在するかどうかを確認できます。

from selenium import webdriver
driver = webdriver.Firefox()
driver.get("some url")
if "your text here" in driver.page_source:
    print('Found it!')
else:
    print('Did not find it.')

ページソースを変数に保存する場合は、driver.getの後に以下の行を追加します。

var_pgsource=driver.page_source

if条件を次のように変更します。

if "your text here" in var_pgsource:

ページソースを使用すると、HTMLコード全体を取得できます。
したがって、最初に、データを取得するか要素をクリックする必要があるコードまたはタグのブロックを決定します。

options = driver.find_elements_by_name_("XXX")
for option in options:
    if option.text == "XXXXXX":
        print(option.text)
        option.click()

名前、XPath、ID、リンク、CSSパスで要素を見つけることができます。

urllibに使用するURLの取得に関する質問に答えるには、次のJavaScriptコードを実行します。

url = browser.execute_script("return window.location;")

WebDriverオブジェクトを使用するだけで、その@propertyフィールドを介してページのソースコードにアクセスできますpage_source...

このコードスニペットを試してください:-)

from selenium import webdriver
driver = webdriver.Firefox('path/to/executable')
driver.get('https://some-domain.com')
source = driver.page_source
if 'stuff' in source:
    print('found...')
else:
    print('not in source...')

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
html_source_code = driver.execute_script("return document.body.innerHTML;")
html_soup: BeautifulSoup = BeautifulSoup(html_source_code, 'html.parser')

これで、BeautifulSoup関数を適用してデータを抽出できます...

urllibでソースを取得することをお勧めします。解析する場合は、Beautiful Soupなどを使用してください。

import urllib

url = urllib.urlopen("http://example.com") # Open the URL.
content = url.readlines() # Read the source and save it to a variable.