あいさつ、私は新しいプロジェクトのアイデアをいじっていて、Kayak.comのようなサービスが非常に多くのソースからのデータをこれほど迅速かつ正確に集約する方法について誰かが何かアイデアを持っているかどうか疑問に思いました。具体的には、Kayak.comがAPIとやり取りしていると思いますか、それともユーザーの要求を満たすために航空会社やホテルのWebサイトをクロール/スクレイピングしていると思いますか？この種のことに対する正しい答えは1つではないことは知っていますが、他の人がこれを行うのに良い方法だと思うものを知りたいと思います。それが役に立ったら、明日kayak.comを作成するふりをしてください...あなたのデータはどこから来ていますか？
回答:
私は旅行業界でソフトウェアアーキテクト/プロジェクトリーダーとしてあなたが説明するまさにその種類のプロジェクトで働いています-私たちの地域ではサプライヤーと直接協力していますが、発信のために私たちはいくつかのアグリゲーターに接続しています。
あなたの質問に答えるために...あなたが持っているいくつかのデータ、あなたは様々な方法で得たもの、そしてあなたはそれが告白するまで拷問とねじれをしなければならないものもあります。
あなたが尋ねなければならない質問は...あなたはカヤックのような広告を売りたいですか、それともエクスペディアのようにカットをしますか？あなたは旅行サービスを検索したり販売したりしていますか？ニッチ（たとえば、空の旅）またはすべて（宿泊施設、航空会社、レンタカー、交通機関/観光/会議などの追加サービス）をターゲットにしていますか？地域（米国または米国の一部）または世界をターゲットにしていますか？どのくらい深くなりますか？1つの画面に複数のサイトを表示するだけですか、それともさまざまなサービスをバンドルして動的にパッケージ化しますか？
カヤックのビジネスモデルを使用する場合、技術的にはサイトの許可は必要ありません...しかし、多くのサイトには、IFrameを使用したアフィリエイトプログラムや、顧客を自分のサイトに誘導するその他の簡単な方法があります。プラス面では、支払い/苦情や旅行者自身に対処する必要はありません。短所については...自分で価格を比較してユーザーに最も安いオプションを提示したい場合は、より深いレベルで統合する必要があります。つまり、APIとWebスクレイピングを意味します。
ウェブスクレイピングについては...避けてください。ひどい。本当に。ただそれをしないでください。これを信じてください。たとえば、低コストのようなものは、Webスクレイピングなしでは入手できません。低コストの航空会社は付加価値サービスから生きています。ユーザーが自分のウェブサイトを見ていない場合、彼らは余分なものを販売せず、何も稼いでいません。そのため、アフィリエイトはなく、APIも提供しておらず、サイトのレイアウトはほぼ絶えず変更されています。ただし、lowcosterのサイトをWebスクレイピングし、それらを優れたAPIにラップすることで生計を立てている企業があります。あなたがそれらを買う余裕があれば、あなたはあなたのユーザーに低コストのフライトのコスト比較を与えることができます、そしてそれは巨大です。
一方、APIを提供する「通常の」キャリアがあります。航空会社はすべてIATAの下で統合されているため、航空会社に行くことはそれほど大きな問題ではありません。基本的に、あなたはIATAから購入し、IATAはそのお金を運送業者に分配します。ただし、キャリアネットワークに直接接続することはおそらく望ましくありません。最近はWebサービスとSOAPがありますが、80年代スタイルのプロトコル（Unixを考えてください）でメインフレームと対話できるテキストプロンプトの非常に薄いラッパーであるSOAPプロトコルがあると私が言うと信じていますコマンドごとに請求されるプロンプト。1回の検索を実行するには約20コマンドかかります）。そのため、より優れたAPIを使用して、食物連鎖のもう少し下流の誰かに接続したいと思うでしょう。
したがって、航空会社はガウス曲線の両極端にあります。一方には個々のサプライヤーがあり、もう一方には1つのAPIを実装し、世界中のどこにでも飛ぶことができる高度に集中化されたシステムがあります。宿泊施設とその他の旅行商品はその中間にあります。ホテルを集約するいくつかの大きなプレーヤーと、スペクトルの一部のみをカバーする多くのアグリゲーターを持つ多数の小さなサプライヤーがあります。たとえば、灯台を借りることができ、それほど高価ではありませんが、1か所でさまざまな灯台の価格を比較することはできません。
あなたがカヤックのビジネスモデルに興味があるなら、あなたはおそらくウェブサイトをこすることになるでしょう。さまざまなプロバイダーを統合することに興味がある場合は、APIを使用することがよくあります。その中にはかなり優れているものもあれば、ほとんどが許容できるものもあります。私はRSSを扱ったことがありませんが、RSSとWebスクレイピングの間に大きな違いはありません。ジェフの回答に記載されていない4番目のオプションもあります...たとえば、FTPなどを介して.CSVファイルを毎晩データを取得するオプションです。
そして、複雑さがあります。追加する値が多いほど、処理する必要のある複雑さが増します。ペットを同伴できる宿泊施設を検索できますか？町の中心部から5km以内にあるホステルの場合は？フライトを組み合わせていますか？また、旅行者が1つの空港から別の空港に移動するのに十分な時間があることを保証できますか？事前に輸送手段を販売できますか？有名なチェロ奏者は、彼の貴重な18世紀のチェロから離れたくありません。あなたは彼にチェロのための別の席を売ることができますか（うん、これを作っていない）？
価格を比較したいですか？確かに、部屋は一泊30ユーロです。ただし、ダブル1台で30台、シングル1台で20台、またはダブルでエキストラベッド1台を取得して、サードパーソンで70％オフにすることができます。ただし、12歳未満の子供である場合に限ります。エキストラベッドは大人用ではありません。そして、検索結果にエキストラベッドの価格は表示されません。最終的な価格を計算する場合のみです。
そして、動的パッケージングを始めないでください。宿泊施設とレンタカーを売りたいですか？問題ない; 2つの異なるプロバイダーと統合し、出発します...市内の場所のリストを手動で更新して（レンタカープロバイダーから）ホテルと一致させます（宿泊施設プロバイダーから、各ホテルの都市のみを提供します）。もちろん、都市コードの国際標準がないため、2つの都市のリストをすでに一致させている場合に限ります。
多くの製品を持っている他の多くの産業とは異なり、旅行産業は多くの非常に複雑な製品を持っています。アマゾンはそれを簡単にしています。本を売ったり、ジャガイモを売ったりするのも同じことです。同じ箱に入れて発送することもできます。それらは簡単に組み合わせることができ、多くの部品から組み立てられることはありません。:)
PSハッカーニュースの興味深い最近のスレッドへのリンクとフライトに関するインサイダー情報。PPSは最近、IATAのNDCプロトコルに関するかなり古いブログ投稿に出くわし、旅行業界がどのように接続されているかについての概要と、これがどのように行われたかについての歴史の教訓を紹介しました。
彼らは、グーグルが買収の過程にある会社の1つであるITAソフトウェアのようなソフトウェアパッケージを使用しています。
ウェブサイトからデータを取得するために私が知っている唯一の3つの方法。
RSSフィード-私の会社では、既存のサイトのデータをアプリと統合するためにrssフィードを頻繁に使用しています。高速で、ほとんどのサイトですでにRSSフィードを利用できます。これに伴う問題は、すべてのサイトがRSS標準を適切に実装しているわけではないため、多くのサイトの多くのRSSフィードからデータを取得する場合は、例外やフィルターを簡単に追加できるようにコードを記述してください。
API-これらは適切に設計され、必要なすべての情報を備えている場合に便利ですが、常にそうであるとは限りません。さらに、サイトが標準のAPI形式を使用していない場合は、複数のAPIをサポートする必要があります。
Webスクレイピング-この方法は、最も信頼性が低く、維持するのに最も費用がかかります。しかし、他に何も残されていない場合は、それを行うことができます。
Travelportは、フライトやホテル、レンタカー会社に接続し、パッケージ取引や税金や為替レートに関連するさまざまな複雑さに対処する「UniversalAPI」と呼ばれる製品を提供しています。
https://developer.travelport.com/app/developer-network/resource-centre-uapi
使い始めたばかりですが、今のところ問題ないようです。クエリは少し遅いですが、すべてのOTA（オンライン旅行代理店）のサイトのすべてのクエリも同様です。