多変量線形回帰vsニューラルネットワーク？

場合によっては、多変量線形回帰を使用してニューラルネットワークと同様の結果を得ることができ、多変量線形回帰は非常に高速で簡単です。

ニューラルネットワークは、どのような状況で多変量線形回帰よりも良い結果を出すことができますか？

ニューラルネットワークは、原則として、非線形性を自動的にモデル化できます（普遍近似定理を参照）。線形回帰の変換（スプラインなど）を使用して明示的にモデル化する必要があります。

警告：隠れ層やニューロンを追加しても無害に見えるため、過剰適合の誘惑は回帰よりもニューラルネットワークで（さらに）強くなる可能性があります。そのため、サンプル外の予測パフォーマンスに注意してください。

線形回帰に言及します。これは、同様の高速最適化アルゴリズムを持つロジスティック回帰に関連しています。分類の問題などでターゲット値に境界がある場合、ロジスティック回帰を線形回帰の一般化として表示できます。

ニューラルネットワークは、元の入力のロジスティック回帰よりも厳密に一般的です。これは、非表示ノードがスキップ層ネットワーク（入力と出力を直接接続する接続）に対応するためです。$0$

ような機能を追加する場合、これは単一の非表示レイヤー内のいくつかの非表示ノードに重みを選択することに似ています。シグモイドを使用してような関数をモデル化するには、複数の隠されたニューロンが必要になる場合があるため、厳密には対応はありません。ニューラルネットワークをトレーニングするとき、隠された重みを入力する独自の隠れた重みを見つけることができます。また、さらに時間がかかり、一貫性がない場合があります。追加の機能を備えたロジスティック回帰の近似から始めて、入力から非表示の重みをゆっくりとトレーニングできます。これは、最終的に追加の機能を備えたロジスティック回帰よりも優れているはずです。問題に応じて、トレーニング時間はごくわずかであるか、法外に長い場合があります。 1 − 1 x $x^3$$1-1$$x^3$

中間戦略の1つは、ニューラルネットワークを初期化し、入力から非表示への重みを修正する場合と同様に、多数のランダムノードを選択することです。* -to-outputウェイトの最適化は線形のままです。これは、極端な学習マシンと呼ばれます。少なくとも元のロジスティック回帰と同様に機能します。

線形回帰は、線形分離可能なデータを分離することを目的としています。はい、追加の3次多項式を使用できますが、その方法で、目的関数の構造を定義してから、データに関するいくつかの仮定を再度示しました。ニューラルネット。一般に、所有するデータの線形セパレーターを作成する入力レイヤーと、非表示レイヤーと、一部のクラスと最後のレイヤーの境界となる領域、またはこれらすべての領域のORがあります。そのようにして、あなたが持っているすべてのデータを非線形の方法で分類することができます。また、これらのプロセスはすべて、内部で学習した重みと定義された関数で行われます。さらに、線形回帰の特徴数を増やすことは、「次元の呪い」とは反対です。さらに、一部のアプリケーションでは、出力として定数よりも確率的な結果が必要です。