ニューラルネットワークは壊滅的な忘却の傾向がありますか？

ニューラルネットワークにライオンの写真を100回表示し、「危険」とラベル付けすると、ライオンは危険であることがわかります。

ライオンの危険な可能性が50％になるように、以前に何百万ものライオンの画像を表示し、「危険」および「危険ではない」というラベルを付けたと想像してください。

しかし、最後の100回は、ニューラルネットワークを、ライオンを「危険」と見なす非常に前向きな状態に押しやったため、最後の100万のレッスンは無視されました。

したがって、ニューラルネットワークには、最近の証拠に基づいてあまりにも迅速に考えを変えることができるという欠陥があるようです。特にその前の証拠が中央にあった場合。

どれだけの証拠を見たかを追跡するニューラルネットワークモデルはありますか？（または、これはによって学習率の減少をさせると同等になり試行回数のですか？）$1/T$$T$

はい、確かに、ニューラルネットワークは壊滅的な忘却（または干渉）を非常に起こしやすいです。現在、この問題は、多くの場合、ニューラルネットワークは、主に（とも呼ばれるオフライン訓練されているので、無視されたバッチの訓練をしない）、この問題が頻繁に発生しない場合、およびオンラインまたは漸増的である、の開発に基本的な人工一般知能。

ニューラルネットワークで継続的な生涯学習に取り組んでいる人々がいます。これは、以前に取得したデータを完全に忘れないように、データストリームから継続的に学習するモデルの能力である継続的な生涯学習にニューラルネットワークを適合させようとします新しい情報を学習しながらの知識。たとえば、論文「Continual lifelong learning with neuro networks：A review（2019）、by German I. Parisi、Ronald Kemker、Jose L.Part、Christopher Kanan、Stefan Wermter」は、壊滅的な問題に関連する問題と既存のソリューションをまとめたものですニューラルネットワークの忘却。

はい、古いトレーニングの例を忘れる問題は、ニューラルネットワークの特徴です。適応性を高め、転送学習などの興味深いアプリケーションを可能にするため、「欠陥」とは呼びません（ネットワークが古いトレーニングをよく覚えている場合、新しいデータに微調整しても意味がありません）。

実際にやりたいことは、危険なトレーニングと危険ではないトレーニングの例を混ぜることですは、最初と最後に1つのカテゴリが表示されないように、ます。

標準的なトレーニング手順は次のように機能します。

for e in epochs:
    shuffle dataset
    for x_batch, y_batch in dataset:
        train neural_network on x_batxh, y_batch

すべてのエポックでのシャッフルは、ネットワークがエポックごとに同じ順序で同じトレーニング例を表示しないこと、およびクラスが混合されることを保証することに注意してください。

質問に答えるために、はい、学習率を下げると、ネットワークが以前のトレーニングを忘れる傾向が少なくなりますが、これは非オンライン設定でどのように機能しますか？ネットワークを収束させるには、複数のエポックのトレーニングが必要です（つまり、データセット内の各サンプルを何度も見る）。

あなたがそれを説明しているのは、微調整の意図的なケースかもしれません。

問題を学習するためにミニバッチ勾配降下を機能させる基本的な仮定があります：連続したバッチの任意のバッチまたは時間ウィンドウは、真の適切な近似を形成すると仮定されますグローバルのモデルのパラメーター化に関する誤差関数の勾配。エラーサーフェス自体が大きく動いている場合、勾配降下の目的が妨げられます。勾配降下は局所的な精密化アルゴリズムであるため、基礎となる分布を突然変更すると、すべての賭けがオフになります。あなたが引用した例では、壊滅的な忘却は以前に見られた「忘れられた」データポイントの後遺症であるように思われ、分布が変化したか、いくつかの重要な現象のデータの表現不足の症状です、その重要性に関連してめったに見られないように。

強化学習からの経験の再生は、この領域にうまく移行する関連概念です。ここで、紙壊滅的な忘却に対するこの概念を探ります。サンプリングが真の勾配を十分に表し（このためのトレーニングサンプルのバランスを見る）、モデルに十分なパラメーターがある限り、壊滅的な忘却の問題は発生しません。ランダムにシャッフルされた置換のあるデータセットでは、特定のクラスのデータポイントが非常にまれで、トレーニング中に長期間含まれることがほとんどない場合に発生する可能性が最も高く、サンプルが一致するまでモデルを異なる問題に効果的に微調整します再び見られます。

あなたの質問に答えるために、私は言うでしょう：理論上かもしれませんが、実際にはそうではありません。

問題は、時系列/逐次トレーニングのみを考慮することです。

オンライントレーニングまたはオンライン機械学習と呼ばれるこのような逐次トレーニング方法を一度だけ使用しました。それはwoppal wabbitライブラリを使用していました。これは、ある機能、それがが供給される入力に時系列に適応するため、このライブラリーの（あなたのような問題は考慮しません）。

私は主張します：そのライブラリーWoppal Wabbitの場合、それは年代順に適応する機能です。ライオンは危険であると彼に告げるだけで、結果として順応することが望まれます。

しかし、コースのエクササイズからkaggleコンペティションまで、他のすべてのケースでは、入力データのランダム化されたサブセットをトレーニングセットとして使用しました。そして、これは本当に重要です：

これは、クロスバリデーションと呼ばれる機械学習の重要な部分です。これは、訓練されたニューラルネットワークが実際にどれだけ優れているかを推定する方法です。

ニューラルネットワークの妥当性を適切に推定するために、トレーニングデータのランダムなサブセットを取得します。要するに、トレーニングのためにデータの80％のようなものを取得し、残りの20％で、訓練されたニューラルネットワークは、良好な予測を提供します。

また、過剰適合（別の懸念事項）を検出する必要があるため、単純に相互検証なしでは終了できません。

理論的な問題の可能性を好むように思われるかもしれませんが、現在の相互検証方法の使用はあなたの懸念を無意味なものとする傾向があります。