Google Web Search APIが廃止された今、代替手段は何ですか？[閉まっている]

Google Web Search APIは非推奨になり、Custom Search APIに置き換えられました（http://code.google.com/apis/websearch/を参照）。

ウェブ全体を検索したかったのですが、新しいAPIではカスタムサイトしか検索できないようです。

プログラムでウェブ全体を検索する方法はありますか？JavaプログラムからJSONを使用して古いAPIをクエリすることができました。

ブラウザーのようにそれらを送信してから、htmlを解析することができます。これは、YouTubeなどの場合でも、私が常に行っていることです。

はい、Googleカスタム検索は現在、旧検索APIを交換しましたが、あなたはできるまだウェブ全体を検索するためにGoogleカスタム検索を使用する手順は、カスタム検索の設定から明らかではないが、。

ウェブ全体を検索するGoogleカスタム検索エンジンを作成するには：

1. Googleカスタム検索のホームページ（http://www.google.com/cse/）で、[カスタム検索エンジンの作成]をクリックします。
2. 検索エンジンの名前と説明を入力します。
3. [検索エンジンの定義]の[検索するサイト]ボックスに、少なくとも1つの有効なURLを入力します（現時点では、www.anyurl.comと入力するだけで、この画面を通過できます。これについては後で詳しく説明します）。
4. 目的のCSEエディションを選択して利用規約に同意し、[次へ]をクリックします。必要なレイアウトオプションを選択し、[次へ]をクリックします。
5. [次のステップ]セクションの下にあるリンクをクリックして、コントロールパネルに移動します。
6. 左側のメニューの[コントロールパネル]で、[基本]をクリックします。
7. [検索設定]セクションで、[ウェブ全体を検索しますが、含まれるサイトを強調する]を選択します。
8. [変更を保存]をクリックします。
9. 左側のメニューの[コントロールパネル]で、[サイト]をクリックします。
10. 初期設定プロセス中に入力したサイトを削除します。

これで、カスタム検索エンジンがWeb全体を検索します。

価格

• Googleカスタム検索では、1日あたり100クエリを無料で提供しています。
• その後、クエリ1,000回あたり$ 5を支払います。
• 1日あたりのクエリの最大数は10,000です。

ソース：https : //developers.google.com/custom-search/json-api/v1/overview#Pricing

• 検索品質が通常のGoogle検索よりもはるかに低い（類義語なし、「インテリジェンス」など）
• グーグルはこのサービスを完全に停止することさえ計画しているようです。

Googleカスタム検索（最高評価の回答で推奨）はうまく機能しますが、競合他社（以下）または他のGoogle APIと比較すると非常に高価です。小さな無料枠（100クエリ/日）を持ち、1000クエリあたり5ドルという非常に高い価格です。

彼らはSite Searchにアップグレードするオプションを提供します。これは価格がわずかに優れていますが、これは1つのサイト（自分のサイト）を検索するためのものであるため、実際にはまったく異なるものであり、アップグレードではありません。

主な選択肢は次のようです：

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
これは、1か月あたり5000qの無料枠と、1ペニーあたり5クエリから始まる価格で、ハード制限はありません。

更新：2016年の終わりに、このAPIは、対応するAzure対応の「Cognitive Services Bing Search API」に代わってシャットダウンされました。https：
//azure.microsoft.com/en-us/services/cognitive-services/search/

1,000トランザクションのUS $ 3 / mから始まる価格表については、こちらをご覧ください。私が何かを逃していない限り、それはかなり高価です。

Yahoo BOSS Search APIの
更新：2016年3月31日に廃止されました 。http：//developer.yahoo.com/boss/search/
Web検索全体で約12クエリ/ペニーから始まる価格。

そして、私が以前に聞いたことがないもの：

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[廃止-以下で指摘]

このSO投稿では、これらのいくつかについて少し議論しています。
[トピックから外れたため閉鎖され、現在は削除されています]

ここではカスタム検索のコントロールパネルの下部にあるオプションがある：「サイトを検索する」、あなたが選ぶことができる「ウェブ全体を検索するが、含まれるサイトを重視します」

Farooには無料のWeb検索APIがあります

Common Crawlからこれに遭遇しました。

http://www.commoncrawl.org/

私たち全員が求めている答えかもしれません!!

ドキュメントの上にメモがあります：

注：Google Web Search APIは2010年11月1日をもって正式に非推奨になりました。非推奨ポリシーに従って引き続き機能しますが、1日あたりのリクエスト数は制限されます。したがって、新しいカスタム検索APIに移行することをお勧めします。

非推奨ポリシーは、彼らが3年間のAPIを実行し続けることを言います。そのため、古いAPIを使用するアプリケーションがすでにある場合は、急いで変更する必要はありません。新しいアプリケーションを作成する場合は、カスタム検索APIを使用してください。Pythonでこれを行う方法については、ここの私の回答を参照してください。ただし、考え方はどの言語でも同じです。

すでに述べたFarooを使用するJFreeWebSearchと呼ばれる無料のJava APIがあります：http ://www.ke.tu-darmstadt.de/resources/jfreewebsearch

「どこでも」カスタム検索エンジンは、Googleカスタム検索ホームページ（http://www.google.com/cse/）から直接作成できます。新しいエンジンを追加するときは、「詳細」をクリックするだけです。そこで、Schema.orgサイトタイプを指定できます。' Thing 'はすべてのWebをカバーする最も一般的なタイプです。

Gigablastは安価なWeb検索APIを提供しています：http ://www.gigablast.com/searchfeed.html