Jsoupを使用して多くのHTMLドキュメントを解析しようとすると、SocketTimeoutExceptionが発生します。
たとえば、リンクのリストを取得しました。
<a href="www.domain.com/url1.html">link1</a>
<a href="www.domain.com/url2.html">link2</a>
<a href="www.domain.com/url3.html">link3</a>
<a href="www.domain.com/url4.html">link4</a>
各リンクについて、(href属性からの)URLにリンクされたドキュメントを解析して、それらのページの他の情報を取得します。
時間がかかると想像できますが、この例外をどのように遮断するのですか?
スタックトレース全体を次に示します。
java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(Unknown Source)
at java.io.BufferedInputStream.fill(Unknown Source)
at java.io.BufferedInputStream.read1(Unknown Source)
at java.io.BufferedInputStream.read(Unknown Source)
at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
at java.net.HttpURLConnection.getResponseCode(Unknown Source)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:381)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:364)
at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:143)
at org.jsoup.helper.HttpConnection.get(HttpConnection.java:132)
at app.ForumCrawler.crawl(ForumCrawler.java:50)
at Main.main(Main.java:15)
仲間ありがとう!
編集: うーん...申し訳ありませんが、ちょうど解決策を見つけました:
Jsoup.connect(url).timeout(0).get();
それが他の誰かに役立つことを願っています... :)
timeout(0)
それが接続するまでJsoupに何度も何度もURLを接続させると思います。