ニューラルネットワークの象徴的な（おもちゃ）モデル

私の大学院の物理学教授は、ノーブル賞受賞者のファインマンと同様、ハーモニックオシレーター、振り子、こま、トップボックス、ブラックボックスなどの物理学の基本的な概念と方法を説明するために、常にトイモデルと呼ばれるものを提示しました。

ニューラルネットワークのアプリケーションの基礎となる基本的な概念と方法を説明するために、どのおもちゃモデルが使用されていますか？（参考にしてください。）

玩具モデルとは、基本的な方法を提示できる非常に制約のある問題に適用される、特にシンプルで最小サイズのネットワークを意味します。手で基本的な数学をチェックしたり、シンボリック数学アプリで支援したりします。

最も古典的なものの1つは2次元のパーセプトロンで、1950年代に遡ります。これは、より最新の技術の起動パッドであるため、良い例です。

1）すべてが線形に分離できるわけではありません（そのため、非線形のアクティベーションまたはカーネルメソッド、複数のレイヤーなどが必要です）。

2）データが線形分離可能でない場合、パーセプトロンは収束しません（ソフトマックス、学習率の減衰などの分離の連続的な測定）。

3）データを分割するためのソリューションは無限にありますが、一部のソリューションが他のソリューションよりも望ましいことは明らかです（最大境界分離、SVMなど）。

多層ニューラルネットワークの場合、この視覚化に付属するおもちゃの分類の例をご覧ください。

たたみ込みニューラルネットの場合、MNISTは古典的なゴールドスタンダードであり、こことここでキュートな視覚化を実現しています。

RNNにとって、彼らが解決できる本当に簡単な問題は、2つの加算です。これには4つのパターンを記憶する必要があります。

1. XOR問題は、おそらく標準的なANNおもちゃの問題です。

   リチャードブランド1998年6月スターリング大学、計算科学および数学計算科学の技術報告書「XORの学習：古典的な問題の空間の探索」

2. TensorFlow遊び場は XORとゼリーロールを含むいくつかのおもちゃのニューラルネットへの対話型インタフェースです。

3. 固定サイズ（2x2または3x3）の対称行列の最大固有値を計算することは、教室でのデモで使用するものです。

   A.チチョッキーとR.ウンベハウエン。「固有値と固有ベクトルを計算するためのニューラルネットワーク」Biological Cyber​​netics December 1992、Volume 68、Issue 2、pp 155–164

MNISTのような問題は間違いなく標準的なものですが、手作業で簡単に検証することはできません-膨大な空き時間がある場合を除きます。コードも特に基本的ではありません。

NLPタスクに関しては、Penn Tree Bankは非常に標準的なベンチマークデータセットであり、たとえばWojciech Zaremba、Ilya Sutskever、Oriol Vinyalsの「Recurrent Neural Network Regularization」およびおそらく他の何百もの論文で使用されています。

私は物理的なおもちゃを知りませんが、私が知っている最良の例は、スーパーマリオブラザーズをプレイするための遺伝的アルゴリズムを通して生成された多層AIです。ソースコードはビデオの説明にあります。

MarI / O-ビデオゲームの機械学習：https : //www.youtube.com/watch?v =qv6UVOQ0F44