ニューラルネットワークモデルの識別可能性

ほとんどのニューラルネットワークトポロジ/アーキテクチャが識別できないことは非常に直感的です。しかし、フィールドでよく知られている結果は何ですか？識別可能性を許可/防止する単純な条件はありますか？例えば、

非線形活性化関数と複数の非表示層を持つすべてのネットワークは識別できません
3つ以上の非表示ユニットがあるネットワークはすべて識別できません

またはこれらのようなもの。注：これらの条件が識別可能性を妨げると言っているのではありません（ただし、これらは私にはかなり良い候補のようです）これらは、「単純な条件」で私が意味するものの単なる例です。

質問を絞り込むのに役立つ場合は、フィードフォワードおよび繰り返しアーキテクチャのみを検討してください。それでも不十分な場合は、MLP、CNN、RNNのうち少なくとも1つのアーキテクチャをカバーする回答で満足します。私はWebをざっと見て回りましたが、私が見つけた唯一の議論はRedditに関するもののようです。さあ、人々、私たちはRedditよりもうまくやることができます;-)

— DeltaIV
ソース

この学術演習の目的は何ですか？

— Aksakal

既存の文献から何を検討/検討しましたか？これは非常にニッチな質問のようです。私はシステム識別文献ではなく、標準的なML（例えば内の関連見ていることは非常に少数の関連文献1、2、3）。MLのコンテキストで質問をもう少し詳しく説明していただけますか？識別可能性は主に制御システムの側面です。1-1の関係を「ちょうど」表しているのですか

— usεr11852

これらの結果は、陰関数の定理を使用して簡単に証明できるはずです。

— Alex R.

@Aksakal 10個のボールが追加され、1個が削除される無限のステップの後、正午に骨壷が空になる確率を計算する目的は何ですか？。誰もいないが、質問は楽しかった。答える価値があるために、すべての質問が実際的な関連性を持っている必要はありません。または、識別可能性の欠如により、NNの重みについて正確な推論を行うことができないと言うこともできますが、ほとんど誰も興味がないので、それは誤った正当化です...

— DeltaIV

@DeltaIV、これはCVにとって有効な質問です。問題は、このことについて誰も考えたくないということです。誰もがモデルの構築とお金の稼ぎに忙しく、モデルが機能しなくなったとき、つまり失業者のAI思想家が識別可能性を熟考するとき

— Aksakal

回答:

線形の単層FFNは識別されません

このケースを除外するために編集された質問。線形のケースを理解することは、関心のある現象の簡単な例であるため、ここではそのままにしておきます。

1つの非表示レイヤーとすべての線形アクティブ化を備えたフィードフォワードニューラルネットワークを考えます。タスクは単純なOLS回帰タスクです。

したがって、モデルあり、目的は $\hat{y}=X A B$

min_{A, B} \frac{1}{2} | | y - X A B | |_{2}^{2}

$\min_{A,B} \frac{1}{2}|| y - X A B ||_2^2$

適切な形状のを選択。は入力から非表示の重みで、は非表示から出力の重みです。 $A, B$ $A$ $B$

明らかに、行列 2つのペアが同じ積を持つ可能な構成がいくつもあるので、重み行列の要素は一般に識別できません。 $A,B$

非線形の単層FFNはまだ特定されていません

リニア、単層FFNから構築、我々はまた、非識別性を観察することができ、非線形、単層FFN。

例として、線形活性化のいずれかに非線形性を追加すると、非線形ネットワークが作成されます。このネットワークはまだ特定されていません。損失値については、1つの層の2つ（またはそれ以上）のニューロンと次の層の対応するニューロンの重みの順列も同様に同じ損失値になるためです。 $\tanh$

一般に、ニューラルネットワークは識別されません

同じ推論を使用して、ニューラルネットワークが非常に特定のパラメーター化を除いてすべて識別されていないことを示すことができます。

たとえば、たたみ込みフィルターが特定の順序で発生しなければならないという特別な理由はありません。また、後続の重みがその選択を「逆にする」ために反対の符号を持つ可能性があるため、畳み込みフィルターに特定の符号を付ける必要はありません。

同様に、RNN内のユニットを並べ替えて、同じ損失を得ることができます。

参照：MLEを使用してニューラルネットワークの重みを推定できますか？

— Sycoraxはモニカを復活させると言います
ソース

私の質問へのコメントでは、このケース（線形活性化関数）を明確に除外していました。これは、単純な再パラメーター化を使用して、まったく同じ予測を与えるこのモデルから始めて、識別可能なモデルを取得するのは簡単だからです。いわば「本質的に識別不可能」ではありません。だから私は特に非線形活性化関数に言及していました。しかし、私はそれをコメントに残すだけでなく、質問に含めるべきだと思います。数時間で、それに応じて質問を変更します。

— DeltaIV

質問を編集して、知りたいことを明確にすることをお勧めします。

— Sycorax氏によると、モニカの復活は

あなたは正しい、私は通常そうしますが、今回は忘れました。私の悪い。

— DeltaIV

そこには少なくともニューロンで構成される1層ニューラルネットワークをフィッティングした場合のグローバルオプティマ。これは、特定のレベルで2つのニューロンを交換し、次のレベルでこれらのニューロンに起因する重みを交換すると、まったく同じフィットが得られるという事実から来ています。 $n!$ $n$

— RUser4512
ソース