パーセプトロンは忘れることができますか?


16

ユーザーが分類されたサンプルを継続的に追加し、モデルをオンラインで更新できるオンラインWebベースの機械学習システムを構築したいと思います。パーセプトロンまたは同様のオンライン学習アルゴリズムを使用したいと思います。

しかし、ユーザーは間違いを犯し、無関係な例を挿入する場合があります。その場合、例のセット全体でパーセプトロンを再トレーニングすることなく、特定の例を削除するオプションが必要です(非常に大きい場合があります)。

これは可能ですか?


非常に興味深いアイデア。これを形式化する努力をしましたか?
ストリン

パーセプトロンモデルと分類子の詳細を考えると、修正された分類を使用して例を再挿入するとどうなりますか?これにより、間違った内層ニューロンの重みが減り、適切な内層ニューロンの重みが増しませんか?
さまようロジック

1
サンプルを再挿入すると何らかの形で明らかに役立つことがありますが、この場合パーセプトロンの正確性と収束性の証拠が保持されるかどうかはわかりません(つまり、エラーのあるサンプルが存在する状況と結果が同じになるかどうかわかりませんそもそも挿入されていません)。
エレルシーガルハレビ

ナイーブソリューションとして、新しいサンプルが追加される前にパーセプトロンの重量を記録しておくことができます。次に、サンプルを削除する場合は、「悪い」サンプルが追加される前にパーセプトロンの重みを値に(再)設定し、「悪い」サンプルの後に追加されたすべての有効なサンプルでパーセプトロンを再トレーニングします。これには、いくつかの再トレーニングが含まれますが、サンプルセット全体ではありません。もちろん、例とそれに関連する重みの記録も維持する必要があります。
rphv

回答:


6

私がプロセスを理解しているように、再訓練せずにパーセプトロンを変更することは不可能です。ウェイト調整は、その特定の例に関連するだけでなく、以前に行った他のトレーニング例にも関連しています。誤って分類されたインスタンスを特定し、モデルを再トレーニングする前にテストセットから削除することが、重みを修正する最も効果的な方法と思われます。

他の機械学習アルゴリズムと比較して、パーセプトロンはノイズやトレーニングセット内の誤って分類されたインスタンスに対して比較的抵抗力があることを指摘する価値があると思います。多数の誤分類されたインスタンスが発生している場合、パーセプトロンが訓練された後に誤分類されたインスタンスを修正する何らかの方法を考え出すよりも、トレーニングの前にデータを取り込む時点でより良い検証を行う方が賢明と思われます。それが不可能で、誤って分類されたインスタンスを特定できた場合、それらを削除して再トレーニングすることが、誤って分類されたインスタンスの影響を効果的に除去する唯一の方法と思われます。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.