ニューラルネットワークの活動ベクトルとは何ですか？

私はヒントンの新しい論文「カプセル間の動的ルーティング」を読んでいて、要約で「活動ベクトル」という用語を理解していませんでした。

カプセルはニューロンのグループであり、その活動ベクトルは、オブジェクトやオブジェクトパーツなど、特定のタイプのエンティティのインスタンス化パラメータを表します。アクティビティーベクトルの長さを使用して、エンティティが存在する確率とインスタンス化パラメーターを表すその向きを表します。1つのレベルのアクティブカプセルは、変換マトリックスを介して、より高レベルのカプセルのインスタンス化パラメーターを予測します。複数の予測が一致すると、より高いレベルのカプセルがアクティブになります。差別的に訓練された多層カプセルシステムがMNISTで最先端のパフォーマンスを達成し、非常に重複する桁を認識する際に畳み込みネットよりもかなり優れていることを示します。これらの結果を実現するために、合意によるルーティングの反復メカニズムを使用します。

https://arxiv.org/pdf/1710.09829.pdf

ベクトルは、ネットワークを介して実行しているデータの配列のようなものだと思いました。

私はAndrew Ngのディープラーニングコースに取り組み始めましたが、すべてが新しく、用語が頭に浮かびます。

従来のニューラルネットワークでは、ネットワークの頂点はニューロンであり、単一のニューロンの出力は単一の値（「スカラー」）です。この番号はそのアクティベーションと呼ばれます。あネットワーク内のニューロン層は、活性化のベクトルを出力します。これをCapsule Networkのアクティビティベクトルと混同しないでください。

ネットワークの頂点はニューロンではなくカプセルであるため、カプセルネットワークは異なります。彼らはより高い次元である：カプセルの出力でないスカラーが、ベクトル入力に関連するパラメータのグループを表します。したがって、名前アクティベーションベクターです。

動機

ニューラルネットワークでは、ニューロンのスカラー出力間に固有の構造はありません。これは、次の層が学習する必要があるものです。Capsule Networksでは、カプセルの出力は、それに関連するすべてのパラメーターを、より深い層のカプセルのアクティブ化の予測を含むベクトルでまとめて表します。これにより、便利なローカル構造が追加されます。

たとえば、顔認識を考えてみましょう。目を認識する方法を知っているカプセルがある場合、たとえば、「p = 0.97の確率で目の位置（x、y）を認識したので、顔全体のパラメータは（f1、 ... fn） "。

カプセル間の動的ルーティングペーパーで説明したように、この情報を参照すると、以前のレイヤー（目：口、鼻）のカプセルがより深いレイヤー（顔）のアクティベーションを予測する方法で使用されます。たとえば、顔認識機能は、目、鼻、口の認識機能（パーツ）と顔認識機能（全体）が顔の位置（（f1、... fn ）パラメータ）。

歴史的インスピレーション

SIFTのような古いコンピュータービジョンアルゴリズムは、多次元機能（キーポイント）の構成と参照構成の間の認識に基づく合意と同様の方法で機能します。

それは「カプセル内のニューロンの活性化のベクトル」のようなものを意味すると解釈しました。特定のニューロンのアクティブ化は、アクティブ化関数（シグモイド、reluなど）を介して渡される、その入力の重み付き合計です。