PCAをターゲットに適用するとなぜ適合不足になるのですか？

目標：

機械学習とニューラルネットワークの実験は初めてです。一連の5つの画像を入力として受け取り、次の画像を予測するネットワークを構築したいと考えています。私のデータセットは、実験のために完全に人工的なものです。例として、入力と予想される出力の例をいくつか示します。

データポイントとターゲットのイメージは同じソースからのものです。データポイントのターゲットイメージは他のデータポイントに表示され、その逆も同様です。

私がやった事：

今のところ、1つの非表示層を持つパーセプトロンを構築し、出力層が予測のピクセルを提供します。2つの層は密度が高く、シグモイドニューロンで構成されています。平均二乗誤差を目的として使用しました。画像はかなりシンプルで、それほど変化しないので、これはうまく機能します。200〜300の例と50の非表示の単位があるため、テストデータで適切なエラー値（0.06）と適切な予測が得られます。ネットワークは勾配降下法で学習されます（学習率のスケーリングを使用）。ここに私が得る学習曲線の種類とエポックの数によるエラーの進展があります：

私がやろうとしていること：

これで十分ですが、データセットの次元を減らして、より大きな画像やより多くの例にスケーリングできるようにしたいと思います。PCAを適用しました。ただし、次の2つの理由により、データポイントのリストではなく画像のリストに適用しました。

1. 全体としてのデータセットでは、共分散行列は24000x24000になり、ラップトップのメモリに収まりません。
2. 同じ画像でできているので、画像上で行うことで、ターゲットを圧縮することもできます。

画像はすべて類似しているように見えるので、1e-6の差異のみを失いながら、なんとかサイズを4800（40x40x3）から36に減らしました。

機能しないもの：

削減されたデータセットとその削減されたターゲットをネットワークに供給すると、勾配降下法は非常に速く収束して高いエラー（約50！）になります。上記と同等のプロットを見ることができます：

学習曲線が高い値から始まり、その後下がって戻るとは思いもしませんでした...そして、勾配降下がそれほど速く停止する通常の原因は何ですか？パラメータの初期化にリンクできますか（私はlasagneライブラリのデフォルトであるGlorotUniformを使用しています）。

次に、削減されたデータをフィードしても、元の（非圧縮）ターゲットをフィードすると、最初のパフォーマンスに戻ることに気付きました。したがって、ターゲットイメージにPCAを適用することは良い考えではなかったようです。何故ですか？結局、入力とターゲットを同じ行列で乗算しただけなので、トレーニング入力とターゲットは、ニューラルネットワークが理解できるようにリンクされています。何が欠けていますか？

シグモイドニューロンの総数が同じになるように4800ユニットの追加のレイヤーを導入しても、同じ結果が得られます。要約すると、私は試しました：

1. 24000ピクセル=> 50シグモイド=> 4800シグモイド（= 4800ピクセル）
2. 180 "ピクセル" => 50シグモイド=> 36シグモイド（= 36 "ピクセル"）
3. 180 "ピクセル" => 50シグモイド=> 4800シグモイド（= 4800ピクセル）
4. 180 "ピクセル" => 50シグモイド=> 4800シグモイド=> 36シグモイド（= 36 "ピクセル"）
5. 180 "ピクセル" => 50シグモイド=> 4800シグモイド=> 36線形（= 36 "ピクセル"）

（1）および（3）正常に動作します。（2）、（4）、（5）ではなく、その理由がわかりません。特に、（3）は機能するので、（5）は（3）と同じパラメータと最後の線形層の固有ベクトルを見つけることができるはずです。ニューラルネットワークではそれは不可能ですか？

最初に、元の質問を編集していただきありがとうございます。これで、すべてのデータに同じ変換を適用していることがわかりました。

Q：なぜ一部の問題perceptronsよりもパフォーマンスが優れgeneralized linear modelsているのですか？A：それらは本質的に非線形モデルであり、非常に柔軟性があります。欠点は、追加のノブを正しく調整するためにより多くのデータが必要になることです。

大局：

データが少ないと発生する可能性がありhigh-biasます。 High-biasより多くのデータで克服できます。データを4800フィーチャデータセットから38フィーチャデータセットに減らしたので、バイアスが増えることが予想されます。 Neural networks非表示のレイヤーがないモデルよりも多くのデータが必要です。

線形性と非線形性

あなたはartificial neural network（perceptron）、本質的に非線形モデルで、まだあなたは線形モデルを使用してデータセットから機能を削除することを決定しています（PCA）。単一の非表示層が存在すると、データに2次の項が明示的に作成され、各ステップでS字型非線形性を追加する2つの追加の非線形変換（input ==> hiddenおよびhidden ==> prediction）があります。

次元の削減を実現するためにトレーニングデータとターゲットデータの両方に同じ行列が乗算されるという事実perceptronは、元のデータの非線形の側面を再構築したい場合、行列を学習する必要があることを意味します。これには、より多くのデータが必要になるか、次元数を減らす必要があります。

実験：

polynomial feature extraction完全なデータセットで2次を実行PCAし、その拡張データセットで実行する実験を試すことをお勧めします。強化されたデータセットの分散の99％を保持しながら、最終的にいくつの特徴が表示されるかを確認します。それが初期データセットの次元よりも大きい場合は、拡張されていないデータセットをそのまま使用します。元のデータの次元と38のperceptron間にある場合は、そのデータでをトレーニングしてみてください。

より良いアイデア：

（線形）分散を使用してPCA投影の機能削減を決定するのではなく、さまざまな量のPCA次元削減を使用してモデルをトレーニングおよび交差検証してみてください。特定の一連の画像に最適な場所があることに気付くでしょう。たとえば、MNISTディジットデータのSVMは、784ピクセルフィーチャがPCAを使用して線形に独立した50のフィーチャに削減されたときに最適に機能します。これは、主成分の分散分析からは明らかではありません。

その他のオプション：

isomapなどの非線形次元削減手法があります。適用した線形PCAで情報が明らかに失われているため、非線形機能削減の使用を調査できます。

また、次元を減らす前に、いくつかの非線形性を追加するための画像固有のfeature extraction手法を検討することもできます。

お役に立てれば！

データセット内のほとんどの差異は、入力画像間（または入力画像と出力画像間）に存在する可能性があります。その場合、最も有益な主成分は、入力の例を分離したり、入力を出力から分離したりするのに役立ちます。

情報量の少ないPCだけが分散白黒出力を記述している場合、元の特徴空間での出力よりも出力を区別することが難しくなります。

とはいえ、画像のPCAが役立つことはめったにありません。この例ではそれが魅力的であることがわかりますが、別の低次元のフィーチャ表現を学ぶことはおそらくはるかに意味があり、メモリフレンドリーです。単純なオートエンコーダ、SIFT / SURF機能、またはハールのような機能を試すことができます。

あなたの投稿を数回読みました。しかし、私はあなたの実験を完全に理解したかどうかは完全にはわかりません。しかし、私は何が起こっているのか推測しています。

この驚異の0.06％を達成したところに誤差が隠されていると思います。新しいデータに一般化するだけでなく、ある方法で将来を予測します。これは機能しないはずですが、あなたのネットがひどくオーバーフィットしているので機能すると思います。つまり、ネットワークはまだ非常に馬鹿げています。写真a、bを表示すれば学習しますc、答えます。私があなたを正しく理解していれば、2番目の実験にはひねりが含まれています。あなたはまだ完全な画像をネットワークに提示していると思いますが、それらは固有画像の係数から構築されています。今度は、固有画像から答えを作成するために係数を吐き出さなければなりません。しかし、これには、ネットワークが理解していないプロセスについてのある程度の理解が必要になります。

したがって、実験を改善するためのいくつかの提案があると思います。

完全な入力画像の学習は、非常に高次元の問題であり、膨大な量のトレーニングデータを必要とします。画像から特徴を計算することを検討してください。

あなたの学習の問題が健全なものかどうかはわかりません。トレーニングデータを予測データから分離し、手書きの数字などのより一般的なデータを取ることを検討してください。