画像以外の非NLPタスクのディープラーニング？

これまでのところ、コンピュータビジョンや自然言語処理のディープラーニングには多くの興味深いアプリケーションがあります。

他のより伝統的な分野ではどうですか？たとえば、私は伝統的な社会人口統計学的変数に加えて、おそらく多くの研究室での測定値があり、特定の疾患を予測したいと考えています。多くの観察結果がある場合、これはディープラーニングアプリケーションになりますか？ここでネットワークをどのように構築しますか？すべてのファンシーレイヤー（畳み込みなど）は本当に必要ではないと思いますか？！深くするだけ？

私の特定のデータセットで、ランダムフォレスト、gbmなどの一般的な機械学習アルゴリズムを試しましたが、精度に関する結果はさまざまです。画像認識に関するディープラーニングの経験は限られています。

はい、深層学習手法を使用して非画像データを処理できます。ただし、他のモデルクラスは、信号処理および関連タスク以外では、依然としてニューラルネットワークと非常に競争力があります。

非信号/非シーケンスデータに対して深層学習アプローチを使用するには、通常、単純なフィードフォワードマルチレイヤーネットワークを使用します。畳み込み層やプーリング層は必要ありません。それ以外の最良のアーキテクチャは、相互検証で検討する必要があり、深いNNはトレーニングに多くの計算を必要とするため、発見に時間がかかる可能性があります。

Kaggleの競技でディープ（-ish、通常は5層まで）のニューラルネットワークを使用しようとした私の経験では、

• ドロップアウトは、正則化と精度の向上に依然として非常に効果的です

• 入力の正規化-通常0を意味し、標準偏差1が重要です

• 非表示のレイヤーのアクティブ化機能が違いを生む可能性があります。ReLUは、勾配の消失に関するいくつかの問題を軽減しますが、私の経験では、非信号データに対して堅牢性が低く、他の形式が必要になります。レイヤーが数個しかない場合でも、シグモイドまたはタンは正常に機能します。それ以外の場合は、リークのあるReLU、PReLU、ELU、および「死んだ」ニューロンの問題にパッチを当てようとするその他のReLUバリアントを調べます。

• Adam、Adagrad、RMSPropなどのディープラーニング用に設計されたオプティマイザを利用する

• Glorotなどのディープラーニングで機能する重み初期化アプローチを使用します。

• バッチ正規化レイヤーの使用を検討してください。私は多くの経験はありませんが、他の人がこのアプローチでうまくやっているのを見てきました。

これらすべてにもかかわらず、XGBoostは、最小限のチューニングとトレーニングの労力で（もちろん、問題とデータに依存します）、ディープNNを日常的かつ簡単に打ち負かすことができます。ただし、精度がすべてである場合は、保証はされませんが、深いNNとXGBoostなどの他のモデルの組み合わせが単独で実行するよりもパフォーマンスが向上する可能性があります。

ネットワークは分類の目的に適しています。このためには、ネットワークが本番環境で分類するように要求されるデータを表す、データのトレーニングセットとテストセットを定義できる必要があります。これは、悪いネットワーク、妥当なネットワーク、または正常なネットワークを取得できるかどうかを決定します。

私は用語を「ディープラーニング」と誤解を招くものと見なします。ネットワークは学習せず、トレーニングすることしかできません。

トレーニングとテストセットを作成できると仮定すると、高レベルでは、

• マルチレイヤー：データに順序がなく、構造の位置が固定されている場合。

• 再帰的ネットワーク：データの順序が分類にとって重要な場合

• 畳み込み：データに画像のような構造があるが、固定位置がない場合。

レイヤー数などの適切な設定を行うには、試行錯誤が必要です。それは一種の黒魔術です。