単調な機械学習

バイナリ分類（教師あり学習）の問題があり、すべての機能がブール値であり、次のような工夫があります。分類子を学習したい $f:\{0,1\}^n \to \{0,1\}$ それはモノトーンです。つまり、機能のサブセットを0から1に変更しても、分類子の出力が1から0に変更されることはありません。

どうすればモノトーン分類器を学習できますか？標準的な分類方法を何らかの方法で適合させて、単調性制約を強制できますか？

単調なモデルを確実に学習できるようにロジスティック回帰を適応させる方法を見ることができます。各特徴の係数が非負であることを要求してから、制約付き最適化アルゴリズムを適用してモデルの係数を推測できます。他の教師あり学習スキーム（ランダムフォレスト、勾配ブースティング、ニューラルネットワークなど）を適応させるための合理的な方法はありますか？または、この状況に適した専用アルゴリズムはありますか？

残念ながら、標準のランダムフォレスト分類器を適用するだけでは、トレーニングセットが単調であっても保証されません（単調設定に由来し、ノイズや単調性の違反はありません）。明示的な例、つまり、ランダムフォレストが非単調分類器を学習する可能性がある単調トレーニングセットの例については、https：//cs.stackexchange.com/q/69220/755を参照してください。それも同様に良いことです。これは、単調分類器を学習したい場合、さらに高度な手法が必要になる可能性があることを示唆しています。

machine-learning binary-data supervised-learning

— DW
ソース

ただ質問です。あなたのデータは単調な設定から来ていますか、それともいくつかの反例も含まれていますか？反例がない場合、たとえばランダムフォレストは正常に機能します。いくつかある場合は、それらをトレーニングセットから削除するだけです。

— Karel Macek

@KarelMacekかっこいい！私は文献や技術への入り口を探しているので、トレーニングセットのデータはすべて単調であると想定して問題ありません。単調データセットでトレーニングされたランダムフォレスト分類器が単調分類器を生成することが保証されていますか？

— DW 2017年

@KarelMacek、提案ありがとうございます！残念ながら、標準のランダムフォレストを適用するだけでは失敗する可能性があります。説明と明示的な例へのリンクについては、編集された質問の最後の段落を参照してください。問題を修復する方法は明らかではありません。何か案は？

— DW

1以上の重みと非減少の非負の活性化関数（ReLUなど）を持つMLPニューラルネットワークは、単調性の要件を満たします。これは、非負の数値の合計が非負であり、正の数値であるためです

p

$p$ 1より大きい数を掛けると、

p

$p$ 。

— Sycoraxは2017

古い質問ですが、グラデーションブーストツリーがこのような機能をサポートし、XGBoostですでに実装されていることがわかりました。詳細はこちらをチェック

— ゴンパリク
ソース