安定した効率的な方法でWebページからデータを取得する

最近、正規表現を使用してWebサイトのHTMLを解析し、必要なデータを取得するのが最善の行動ではないことを学びました。

だから私の質問は簡単です：それでは、このデータを取得するための最良/最も効率的で一般的に安定した方法は何ですか？

私はそれに注意する必要があります：

• APIはありません
• データを取得できる他のソースはありません（データベース、フィードなどはありません）
• ソースファイルへのアクセスはありません。（公開ウェブサイトからのデータ）
• データがHTMLページのテーブルに表示される通常のテキストであるとしましょう

私は現在、私のプロジェクトにpythonを使用していますが、言語に依存しないソリューション/ヒントがいいでしょう。

副次的な質問として、WebページがAjax呼び出しによって構築された場合、どのように対処しますか？

編集：

HTML解析の場合、データを取得する実際の安定した方法はないことを知っています。ページが変更されるとすぐに、パーサーが完了します。この場合の安定とは、ページを解析する効率的な方法です。ページが変更されない限り、同じデータセットに対して（同じデータセットに対して）常に同じ結果が渡されます。

さて、ここに私の2セントがあります：

AJAXが含まれていない場合、または簡単にクリアできる場合は、HTMLをXHTMLに「修正」し（たとえばHTMLTidyを使用）、正規表現の代わりにXPathを使用して情報を抽出します。
適切に構造化されたWebページでは、論理的に分離された情報のエンティティが異なる<div>sまたは他のタグにあります。つまり、単純なXPath式で適切な情報を簡単に見つけることができます。また、ChromeのコンソールやFirefoxの開発者コンソールなどでテストして、他のコードを1行書く前に動作することを確認できるため、これも素晴らしいことです。
また、通常、関連情報を選択する式は1行であるため、このアプローチには非常に高い信号対雑音比があります。また、正規表現よりも読みやすく、そのために設計されています。

ページにAJAXと深刻なJavaScriptが含まれる場合、アプリケーションにブラウザーコンポーネントを埋め込み、そのDOMを使用して必要なイベントをトリガーし、XPathを使用して情報を抽出します。Webページは間違った（X）HTMLかもしれませんが、すべての主要なブラウザーで適切にレンダリングされる可能性があるため、多くの優れた埋め込み可能なブラウザーコンポーネントがあります。実際、ほとんどのページは最終的にこのようになります）。

私の経験では、.NET環境を使用して、HTML Agility Packを利用できます。

ページがXHTMLとしてフォーマットされている場合は、通常のXMLパーサーも使用できます。あなたが想像できるあらゆる環境のためにそこにはたくさんあります。

AJAXに関する副次的な質問については、通常のHTTPネットワークコードを使用してデータを取得し、解析することができます。

繰り返しますが、AJAXスタックがXMLを返す場合、多くの選択肢があります。JSONが返される場合は、ストリームを型指定されたオブジェクトにマップできるライブラリを検討してください。.NETでは、Newtonsoft.Jsonをお勧めします。

HTMLの解析は、おそらく不適切なマークアップ（タグスープ）に対処する必要があるため、完全に簡単な作業ではありません。長年の間、ブラウザはエラーを処理するためにほぼ同じ戦略を実装しており、そのアルゴリズムはHTML5仕様で命名されています（はい、HTML5仕様はHTML5以外のものの処理を指定しています）。

これは、HTMLを解析するすべての主要言語用のライブラリです（たとえば、この1つ）。

いずれにせよ、あなたが得るものはいかなる意味でも安定していません。ウェブページの形式が変わるたびに、スクレーパーを調整する必要があります。

副次的な質問として、WebページがAjax呼び出しによって構築された場合、どのように対処しますか？

ajax呼び出しが行われている場合、おそらくいくつかの変数を使用したPOSTまたはGETのいずれかのURLです。

JavaScriptを調べて、エンドポイントとパラメーターが何であるかを調べます。その後、返されるデータがjson / xml / plain textまたは部分HTMLである可能性が非常に高くなります。

上記の情報がわかったら、そのエンドポイントに対してGETまたはPOSTリクエストを行い、返されたデータを解析します。

これを行うための安定したまたはより良い方法はありません。HTMLWebページはコンピューターによって操作されるように作られていません。これは人間のユーザー向けですが、必要な場合はブラウザーとJavaScriptを使用することをお勧めします。私の仕事では、サードパーティのサイトから情報を抽出する必要があるプロジェクトに関与していました。アプリケーションはChrome拡張機能として開発されました。アプリケーションロジックは、ページの読み込みが完了した後にサイトに挿入されるjavascriptを使用して記述されます。抽出されたデータは、httpサーバーを介してデータベースに送信されます。これは最善のアプローチではありませんが、機能します。Ps：サイトの所有者は、そのようなことを行うことを許可しています。