画像認識を行うニューラルネットワークのコンテキストでは、「順列不変」とはどういう意味ですか？

MNIST数字認識タスクの「順列不変」バージョンという用語を見てきました。どういう意味ですか？

machine-learning neural-networks terminology conv-neural-network definition

— RockTheStar
ソース

回答:

これに関連して、これは、モデルがフィーチャ間の空間的な関係を想定していないという事実を指します。たとえば、多層パーセプトロンの場合、ピクセルを並べ替えることができ、パフォーマンスは同じになります。これは、近傍関係を前提とする畳み込みネットワークには当てはまりません。

— バイエルジ
ソース

はい、それは紛らわしい部分です。数字の分類には空間的な関係があるべきではありませんか？

— RockTheStar 14年

MNISTは、ニューラルネットワークのベンチマーク（または健全性チェック）として広く使用されています。モデルが順列不変MNISTで1％未満のエラーを取得できる場合は、何かに進みます。

— バイエルジ14年

はい、数字にも空間的な関係はないのですか？桁のピクセルを並べ替えると、ピクセルの順序が変更され、基本的にパフォーマンスに影響します！？

— RockTheStar 14年

モデルがそう仮定している場合のみ。mlpsはしません、convnetsはします。そのため、convnetをmnistのmlpと比較するのはやや不公平です。

— バイエルジ14年

そうですか！mnistデータセットでは、mlpsのパフォーマンスは向上しますか、それともconvnetですか？

— RockTheStar 14年

関数ベクトル引数のは、の値場合順列不変である、我々はのコンポーネント置換する場合に変化しないであり、例えば、のために、： $f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$ など。

f （ （ {バツ}_{1} 、 {バツ}_{2} 、 {バツ}_{3} ） ） = f （ （ {バツ}_{2} 、 {バツ}_{1} 、 {バツ}_{3} ） ） = f （ （ {バツ}_{3} 、 {バツ}_{1} 、 {バツ}_{2} ） ）

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

— kjetil b halvorsen
ソース

機械学習では学習アルゴリズムは置換不変であることが多いのに対し、返される関数はそうではないため、この答えは少し誤解を招く可能性があります。

— バイエルジ

@bayerj：それは興味深い情報ですが、誤解を招く定義を作成することはわかりませんが、正しい定義ですが、このコンテキストでは完全な答えではないかもしれません。

— kjetil bハルヴォルセン

あなたは正しい、定義は正しいです。ただし、書き留める方法には適用できません。OPが求めていた順列不変MNISTのコンテキストでは、書き留めた形式の関数は発生しません。

— バイエルジ