通常のラップトップでのディープネットのトレーニング

ディープニューラルネットワークの設計とトレーニングで「実践的な」経験を積むことに興味があるアマチュアが、その目的のために通常のラップトップを使用することは可能ですか（GPUなし）、または良い結果を得ることはできませんか？強力なコンピューター/クラスター/ GPUなしで妥当な時間？

具体的には、ラップトップのCPUはIntel Core i7 5500Uフィス世代で、8GB RAMを搭載しています。

ここで、どの問題に取り組みたいかを指定していないので、別の方法で質問を組み立てます。次の目標が達成されるように、ハードウェアで実装することをお勧めする深いアーキテクチャはどれですか：過去10年間に導入され、ディープネットの蜂起に不可欠であった手法（初期化、ドロップアウト、rmspropの理解など）をいつどのように使用するかに関する直感と知識の習得。

私はこれらの手法について読みましたが、もちろん自分で試してみなければ、これらを効果的に実装する方法と時期を正確に知ることはできませんでした。逆に、力が足りないパソコンを使ってみると、自分の学習速度が遅くなり、理解が深まったと言っても無意味でしょう。そして、これらのテクニックを浅いネットで使用しようとすると、正しい直感を構築できないでしょう。

（私の）学習のプロセスを次のように想像します。ニューラルネットを実装し、それを数時間まで練習して、得られたものを確認し、プロセスを繰り返します。これを1日に1、2回行うとしたら、たとえば6か月後に、その分野の専門家が知っておくべきことと同等の実践的な知識が得られれば幸いです。

はい、ラップトップはいくつかのディープラーニングプロジェクトに精通するためにうまく動作します。

小さめのディープラーニング問題を選び、ラップトップを使用して扱いやすい洞察を得ることができるので、試してみてください。

Theanoのプロジェクトがあり、チュートリアルのセット、私はラップトップ上で演奏し、モード化されていることを数字認識のを。

Tensorflowには一連のチュートリアルもあります。

長時間のランの一部を一晩行ったが、何も難しいものはなかった。

また、AWSまたは他のクラウドサービスのいずれかを利用することも検討してください。20〜30ドルで、なんらかのエラスティックコンピューティングノードでクラウド内のより大きな計算のいくつかを実行できます。2番目の利点は、AWSまたは他のクラウドサービスを履歴書にスキルとしてリストすることもできることです:-)

お役に立てれば！

[...]強力なコンピューター/クラスター/ GPUなしで妥当な時間内に良い結果を得ることは絶望的ですか？

それは絶望的ではなく、間違いなく、あなたが言及したコンピューターの仕様を使用してディープラーニングで多くの関連する経験を得ることができます。それは、ニューラルネットワークアーキテクチャ（レイヤーとニューロンの数）、データセットのサイズ（入力の数）、データの性質（固有のパターン）、および実装によって決まります。そして、あなたはそれらの点で自分自身を制限する必要があるかもしれませんが、それはあなたが参照している直感と知識を得ることを妨げません。簡単に言うと、過適合の問題、正則化の影響、事前トレーニングの影響、さまざまなニューロンのタイプとアーキテクチャの影響などがあります。

より具体的な例を挙げましょう。Juliaにいくつかのディープラーニングアルゴリズム（すべてCPUベース）を実装し、それらをMacBook Air（仕様に類似）で実行しました。ニューロンとレイヤーは単一の巨大なマトリックスではなく実際のデータ構造で表現されていたため、コードはひどく最適化されていませんでした。したがって、さらなるパフォーマンスの改善が可能でした。

56x300x300x300x1（56入力、約200k接続）の完全に接続されたネットワークと250のトレーニング例の場合、1日以内に5kバック伝搬パスを得ることができました。多くの場合、それはデータを過剰に適合させるか、トレーニングセットを完全に適合させるのに十分でした（ただし、これはデータセットと他の前述の要因によって異なります）。データに強いパターンがあり、サンプルが10k未満の場合、多くの場合、それほど多くの反復は必要ありません。数百の事前トレーニングと改良の反復が良い結果をもたらすことは珍しいことではありません。そう、そうです、あなたのラップトップは十分に良く、そして数時間かかる意味のある実験を実行することができました。

[...]次の目標が達成されるように、ハードウェアで実装を試みることをお勧めします。過去10年間に導入され、不可欠であった手法をいつどのように使用するかに関する直感と知識を習得する深い網の蜂起に。

強力なパターンを持つ小さなデータセットを選択することをお勧めします。オートエンコーダーなどの事前トレーニング手法を検討することをお勧めします。これは、より良い結果を得るのに必要な反復回数が少ないことが多いためです。逆伝播から始めて、そこから構築し、さまざまなアーキテクチャ、ニューロンタイプを試し、正則化、自動エンコーダ、ドロップアウトなどを使用します。

また、実験用の高性能な言語またはライブラリを選択してください。