Amazon Echoは「常にリッスン」してデータをクラウドに送信していますか？

IntellihubやCEProなどのいくつかのニュースソースは、AmazonのEchoホームアシスタントが常に会話を聞き、インターネットを介してAmazonのサーバーに送信することを示唆しているようです。CEProは次のように述べています：

Amazonが「ウェイクワード」と呼ぶキーフレーズを言うことで、エコーは生き返り、コマンドを聞き始めます。デフォルトでは、ウェイクワードはAlexaです。

その最後の文を読み直した場合、特にセキュリティ分野にいる場合は意味がありません。Amazonによると、エコーはウェイクワードを聞くとコマンドをリッスンするだけです。ウェイクワードをまだ聞いていない場合、ウェイクワードを言ったことをどのようにして知るのですか？

Intellihubの記事は、センチメントが似ています。

「Amazon Echo」デバイスは、PandoraやSpotifyなどの音楽ストリーミングサービスに人の声で接続する常時聴取可能なBluetoothスピーカーであり、FBIなどの政府機関が簡単にハッキングして会話を聞くことができます。

（それはおそらく一つの質問のためにあまりにも多くなりますので、私は特に、この質問のハッキング側面を探求に焦点を当てていないよということに注意してください。私の主な焦点は、アスペクト常時オン、これはデータを送信するかどうかであるすべての時間を。）

どちらの記事も、その主張の出典を開示することを特に熱心に思わない。

Echoは常にデータを記録してクラウドに送信しますか、それとも上記の主張は実証されていませんか？クラウド内のサーバーに常にデータを送信しているわけではない場合、Amazon Echoはどのようにデータを処理しますか？

はい、常に聞いています。いいえ、常にクラウドに送信するとは限りません。

当然、デバイスはウェイクワードを検出するために常にリッスンしている必要があります。しかし、それはと呼ばれる技術によって行われます。

1. Amazon EchoおよびEcho Dotは、ウェイクワードをどのように認識しますか？

Amazon EchoおよびEcho Dotは、デバイス上のキーワードスポッティングを使用して、ウェイクワードを検出します。これらのデバイスは、ウェイクワードを検出すると、ウェイクワードの前の1秒未満のオーディオを含むオーディオをクラウドにストリーミングします。

（エコーFAQ）

したがって、Amazonによると、ウェイクワードの検出はデバイス上にあります。これは、デバイスがルーターでインターネットに到達するのを禁止することにより、非常に簡単にテストできます。エコー/エコードットは引き続きウェイクワードを認識しますが、ライトリングは赤くなり、デバイスはインターネットに接続していないことを通知します。したがって、ウェイクワードの認識が実際にローカルで行われていることを非常に簡単に確認できます。

ウェイクワードを検出した後にのみ、デバイスはAlexaクラウドサービスに接続します。

Amazonによると、デバイスは、ライトリングが青の場合にのみクラウドにストリーミングし、ミュートするとライトリングが赤く点灯しているときにまったくリッスンしません。もちろん、慎重な人はWiresharkのようなネットワークツールを使用して、それが実際にしか送信されないことを確認できます。

Echoは常にデータを記録してクラウドに送信しますか、それとも上記の主張は実証されていませんか？

送信にはありません。しかし、はい。

現在、会社のAlexaハードウェアクライアントを開発しています。デバイスは常にリッスンしています。ただし、パッシブリスニングモードから「ウェイクアップ」し、アクティブな「コマンドをリッスン」モードに切り替えるために、ウェイクワードエンジンを配置する必要があります。

ファームウェアは、ウェイクワード（アクティブモードへの切り替え）の後のステートメントのみをクラウドに送信し、コマンドとして処理します。

• デバイスに関する限り、帯域幅と電力を過度に消費するため、処理のためにクラウドに送信されるすべてのステートメントを送信する必要はありません。
• Amazonに関する限り、彼らはまた、すべてのAlexaクライアントが聞くものすべてを送信することを望まないでしょう。なぜなら、それは途方もない量の帯域幅を消費するからです。さらに、それはシステムの継続的な学習を台無しにするあまりに多くの無関係なデータをもたらすでしょう。クラスの全員が同時に話しているときに、あなたの教師が言っていることを理解しようとすることを想像してください（有効なコマンド）（コマンドではない他のすべてのステートメント）。

クラウド内のサーバーに常にデータを送信するとは限らない場合、Amazon Echoはどのようにデータを処理しますか？

パッシブモードでは、デバイスにウェイクワードを常にリッスンする内部ウェイクワードエンジンがあります。Raspberry PiでAlexaをテストしている間、この目的のためにSensoryエンジンまたはKITT.AIエンジンを配置する必要がありました。実際、Linuxマシン用のAlexaクライアントコードのプロトタイプを試してみると、ウェイクワードエンジンがなかったため、「プッシュトゥトーク」でなければなりませんでした。

Amazonが「ウェイクワード」と呼ぶキーフレーズを言うことで、エコーは生き返り、コマンドを聞き始めます。デフォルトでは、ウェイクワードはAlexaです。

その最後の文を読み直した場合、特にセキュリティ分野にいる場合は意味がありません。Amazonによると、エコーはウェイクワードを聞くとコマンドをリッスンするだけです。ウェイクワードをまだ聞いていない場合、ウェイクワードを言ったことをどのようにして知るのですか？

Echoはキーワードを積極的にリッスンし、NLU処理のためにキーワードの後に​​話された単語を取得します。エコーがこの素晴らしい機能をどのように実現するかを理解することができます。

Echoは、Texas Instruments DM3725デジタルメディアプロセッサ上に構築されています。

このTI SoCには2つの重要な部分があり、1つはARM Cortex-A8 MPU、2つ目はTMS320DM64x + DSPです。ARMコアはLinuxを実行し、DSPはファームウェアを実行している必要があります。

アイドリング時、ARMコアは可能な限り低い電力状態になり、Linuxは完全に停止します。この時点で、DSPと64KBのオンチップRAMはアクティブです。DSPファームウェアは、マイクから入ってくるノイズを処理し、キーワード（たとえば、Alexa）が話されているかどうかを識別しようとします。キーワードが特定されるとすぐに、DSPは割り込みを送信してARMコアを起動し、Linuxを再開します。しかし、LinuxがAlexaが話し続けていたと言った人間を目覚めさせている間（「Alexa、今は何時ですか？」など）、覚えておいてください。DSPは「何時ですか」をバッファします。オンチップRAMの一部。そして、Linuxが再開されると、Linuxはバッファされた音声を取得し、自然言語処理（一部はローカル、一部はクラウド）機能を使用して、Humanが言ったことを理解します。

ご覧のとおり、デザインは完全に作成されており、消費電力が最も少なく、キーワード検出と初期バッファリングにクラウドを含める必要がありません。実際のところ、ARMコアを最低電力状態に保つことで、アイドル時のシリコンの発熱を最小限に抑え、デバイスの寿命を延ばします。

質問が続いていたので、エコーをハッキングする試みの議論は省略しています。

ウェイクワードの認識は実際にローカルで行われます。

はい。

たとえば、 新しいAmazon Echoはどの程度プライベートですか？ （最小限の労力で見つけられるより多くの類似物があります）

Siriと同様に、Amazon EchoはAmazon Web Servicesで実行される「クラウド」で動作します。したがって、コマンドを「理解」するために必要な処理は、デバイス自体では処理されません。

しかしながら、

結局のところ、それは常にリッスンしているので、ビッグブラザーについて心配するべきではないでしょうか？

いいえ、Amazonは言います。技術の巨人は、家庭でのプライベートな会話を聞いたり記録したりしないと言います。誰かが心配な場合は、バンドルされたリモートを使用してミュートボタンを押すと、「常に聴いている」デバイスがシャットダウンされるため、マイクを再びアクティブにするまで操作できなくなります。