Microservice Architectureでの大容量ファイル/データ転送

私の会社は現在、マイクロサービスアーキテクチャの採用に取り組んでいますが、その過程で成長中の痛み（衝撃！）に直面しています。私たちが直面している主要な競合ポイントの1つは、異なるサービス間で大量のデータを通信する方法です。

ちょっとした背景として、社内全体で処理する必要があるドキュメントのリポジトリとして機能するドキュメントストアがあります。このストアとのやり取りは、クライアントに一意のIDとドキュメントをストリーミングする場所を提供するサービスを介して行われます。ドキュメントの場所は、指定されたIDを使用したルックアップを介して後でアクセスできます。

問題はこれです-すべてのマイクロサービスが、ドキュメントとやり取りする目的のために、APIの一部としてこの一意のIDを受け入れることは理にかなっていますか？私にとってこれは本質的に間違っているように感じます-サービスはもはや独立しておらず、ドキュメントストアのサービスに依存しています。これによりAPIの設計が簡素化される可能性がありますが、おそらく、パフォーマンスを改善するだけでなく、結果として得られるカップリングの利点が相殺される可能性もあります。

レインボーユニコーン（Netflix、Amazon、Googleなど）がサービス間の大きなファイル/データ交換を処理する方法を知っている人はいますか？

レインボーユニコーン（Netflix、Amazon、Googleなど）がサービス間の大きなファイル/データ交換を処理する方法を知っている人はいますか？

残念ながら、私は彼らがそのような問題にどのように対処しているかわかりません。

問題はこれです-すべてのマイクロサービスが、ドキュメントとやり取りする目的のために、APIの一部としてこの一意のIDを受け入れることは理にかなっていますか？

これは、マイクロサービスのアーキテクチャに本来備わっている単一責任原則に違反しています。1つのマイクロサービス- 論理的に 1つ、物理的に 1つを表す多数のインスタンス-が1つのトピックを処理する必要があります。

ドキュメントストアの場合、1つのポイントがあり、ドキュメントに対するすべてのクエリが実行されます（もちろん、この論理ユニットをいくつかの種類のドキュメントの複数のドキュメントストアに分割できます）。

• 「アプリケーション」がドキュメントで作業する必要がある場合、それぞれのマイクロサービスに問い合わせて、その結果を処理します。

• 別のサービスが実際のドキュメントまたはその一部を必要とする場合、ドキュメントサービスに問い合わせる必要があります。

私たちが直面している主要な競合ポイントの1つは、異なるサービス間で大量のデータを通信する方法です。

これはアーキテクチャ上の問題です。

1. 大量のデータを転送する必要性を減らす

   理想的には、各サービスにはすべてのデータが含まれており、単にリクエストを処理するために転送する必要はありません。このアイデアの拡張として-データを転送する必要がある場合、冗長性を考えてください（*肯定的な方法で）：多くの場所（必要な場所）でデータを冗長化するのは理にかなっていますか？矛盾がプロセスに悪影響を与える可能性を考えてください。実際には何もしないので、転送は速くありません。

2. データ自体のサイズを小さくする

   データを圧縮する方法を考えてください。実際の圧縮アルゴリズムからスマートデータ構造まで。ワイヤーを通過する量が少ないほど、速くなります。

ドキュメントストアによって返されたID がシステム全体でドキュメントを参照する方法である場合、サービスがどのドキュメントを処理する必要があるかを知る必要があるときに、すべてのサービスがAPIでその「ドキュメントID」を受け入れることは理にかなっています。

これは、必ずしも必要以上にサービス間の緊密な結合を作成するわけではありません。ドキュメントにアクセスする必要があるサービスは、ドキュメントストアサービスにアクセスする必要があり、アクセスするドキュメントをストアに伝えるためにそのIDが必要です。
ドキュメントに直接アクセスしないサービスはドキュメントIDを渡す必要があるかもしれませんが、それらのサービスにとっては、依存関係を作成しない任意の文字列にすぎません。

個人的には、個別のドキュメントストアサービスとドキュメントIDを使用するのではなく、ドキュメントにアクセスするためのURL（適切なヘッダー認証を使用）を使用します。このアプローチでは、ドキュメントサービスに依存する他のサービスは必要なく、単に完全なURLを使用してドキュメントにアクセスできます。また、スケーリングに関しても、複数のドキュメントストアを使用して、ストレージが増大し、URLを提供するとき。

ただし、ドキュメントをアップロードしてそのURLを取得するには、サービスが必要になる場合があります。

レインボーユニコーン（Netflix、Amazon、Googleなど）がサービス間の大きなファイル/データ交換を処理する方法を知っている人はいますか？

Amazon S3 REST APIの仕様を調べてください。一見、オブジェクト全体をバイト単位で返します。マイクロサービスを設計している場合、多くのオプションはないようです。 Amazon S3応答形式のリンク