分類のMLPが回帰のMLPとどのように、そしてなぜ異なるのですか？異なる逆伝播と伝達関数？

2つの3レイヤーフィードフォワードマルチレイヤーパーセプトロン（MLP）を使用しています。同じ入力データ（14個の入力ニューロン）を使用して、1つの分類（true / false）と1つの回帰（trueの場合は「どのくらい」）を行います¹。これまでは、Matlabsのpatternnetとfitnetをそれぞれ遅延して使用してきました。怠惰です。何が起こっているのかを本当に理解するのに時間をかけていなかったからです。さらに、OSSライブラリ（おそらくFANN）に移行する必要があります。これには、Matlab NN Toolboxよりも多くの手動設定が必要になる可能性があります。したがって、私は何が起こっているのかをより正確に理解しようとしています。

ネットワークにより作成されたpatternnetとfitnetほぼ同一である：14個の入力ニューロン、11個の隠されたニューロン、1個の標的ニューロン（2ためのfitnet情報のが、唯一1個）。しかし、それらは完全に同一ではありません。デフォルトの違いは次のとおりです。

• Matlabは、分類ネットワークにスケーリングされた共役勾配逆伝播を使用し（patternnet）、回帰ネットワークにLevenberg-Marquardt逆伝播を使用します（fitnet）。
• 分類ネットワークは、入力層と非表示層の間、および非表示層と出力層の間で双曲線正接シグモイド伝達関数を使用します。回帰ネットワーク（fitnet）は、入力層と非表示層の間の双曲線正接シグモイド伝達関数と、非表示層と出力層の間の純粋な線形伝達関数を使用します。

それらの違いはありますか？

分類にはどのような逆伝播関数が最適で、回帰にはどのような種類の関数が最適ですか？なぜですか？

分類にはどのような伝達関数が最適で、回帰にはどのような種類の伝達関数が最適ですか？なぜですか？

¹ ^{分類が「曇り」または「クラウド・フリー」（2つの相補的ターゲット）のためである、回帰は、「どのくらいの雲」（1ターゲット）を定量化するためのものです。}

主な違いは、トレーニング基準にあります。最小二乗トレーニング基準は、ガウスノイズが応答（ターゲット）変数を破損していると仮定して、モデルパラメーターの（ペナルティ付き）最尤推定を与えるため、回帰によく使用されます。分類問題では、ベルノイリまたは多項損失を仮定して最尤推定を行うために、クロスエントロピートレーニング基準を使用するのが一般的です。どちらの方法でも、モデル出力はクラスメンバーシップの確率の推定値として解釈できますが、出力層でロジスティックまたはソフトマックスのアクティブ化関数を使用するのが一般的であるため、出力は0と1の間にあるように制約され、合計は1になります。 tanh関数を使用する場合、1を追加して2で除算することで、これらを確率に再マッピングできます（ただし、それ以外は同じです）。

スケーリングされた共役勾配とLevenberg-Marquardtの違いは、一般化のパフォーマンスの点ではかなり小さいと思われます。

MATLAB独自のニューラルネットワークツールボックスよりも、MATLAB のNETLABツールボックスを強くお勧めします。過適合を避けるためにベイジアン正規化を調査することはおそらく良い考えです（Chris Bishopの本は読む価値があり、そのほとんどはNETLABツールボックスでカバーされています）。