ランダムフォレストの予測式を出力するためのアイデア

私が尋ねようとしていた質問に答えた次の投稿を読みました：

ランダムフォレストモデルを使用してセンサーデータから予測を行う

出力予測の決定木

これまでに行ったことは次のとおりです。私はロジスティック回帰をランダムフォレストと比較し、RFがロジスティックを上回りました。今、私が一緒に働く医学研究者は私のRF結果を医学診断ツールに変えたいと思っています。例えば：

25〜35歳のアジア人男性で、ビタミンDがxx未満で、血圧がxxを超えている場合、76％の確率で病気xxxを発症します。

ただし、RFは単純な数式に適していません（上記のリンクを参照）。だから私の質問です：RFを使用して診断ツールを開発するためにあなたは皆どんなアイデアを持っていますか（数百本の木をエクスポートする必要はありません）。

ここに私のアイデアのいくつかがあります：

1. 変数の選択にRFを使用してから、ロジスティックを使用して（考えられるすべての相互作用を使用して）、診断方程式を作成します。
2. どういうわけか、RFフォレストを1つの「メガツリー」に集約します。これにより、ツリー全体でノード分割が平均化されます。
3. ＃2や＃1と同様に、RFを使用して変数を選択し（合計でm個の変数など）、何百もの分類ツリーを構築します。これらすべてですべてのm変数を使用し、最適な単一ツリーを選択します。

他のアイデアは？また、＃1を行うのは簡単ですが、＃2と＃3を実装する方法に関するアイデアはありますか？

ここにいくつかの考えがあります：

1. すべてのブラックボックスモデルは、何らかの方法で検査される場合があります。たとえば、各特徴の変数の重要度を計算したり、各特徴（リンク）の予測応答と実際の応答をプロットしたりすることもできます。
2. アンサンブルの剪定について考えるかもしれません。フォレスト内のすべての木が必要なわけではなく、数本だけを使用する場合もあります。論文：[Zhangで最小のランダムフォレストを検索]。それ以外の場合は、Googleだけで「アンサンブルプルーニング」を行い、「アンサンブルメソッド：基礎とアルゴリズム」の第6章をご覧ください。
3. あなたが言ったようにあなたは特徴選択によって単一のモデルを構築することができます。そうでない場合は、ブラックボックス予測を使用して新しいデータセットを構築し、その上に決定木を構築する[複数のモデルを介した例からの知識獲得]でDomingosの方法を使用することもできます。
4. この Stack Exchangeの回答で述べたように、ツリーモデルは解釈できるように見えるかもしれませんが、トレーニングデータのわずかな摂動のために、大幅に変更される傾向があります。したがって、ブラックボックスモデルを使用することをお勧めします。エンドユーザーの最終的な目的は、新しいレコードが特定のクラスとして分類される理由を理解することです。あなたはその特定の記録のためだけにいくつかの機能の重要性について考えるかもしれません。

私は1または2に行きます。

私は、診断設定でRFを使用するのと同じ状況に対処する必要があり、利害関係者は単一の読みやすい方程式に要約されるアルゴリズムに慣れています。簡単な決定木（ここでは方程式を使用できます）の説明から始めて、次に非常に複雑な決定木を説明し、それから過剰適合の欠点を説明すると、いくつかのうなずき始めます。多くの小さな木が異なった方法（「ランダム」）で成長することで不正確さを軽減できること、そして過剰適合を回避しながらもエッジケースを考慮に入れるためにアンサンブル投票または平均として使用できることを説明すると、理解が深まります。以下は、私がよく使用したスライドの例です。

フォレスト内のツリーから逃れることはできません。これらは、アルゴリズムに非常に高い予測能力と堅牢性を与えるものであるため、RFが非常に適切に機能している場合は、より良いソリューションはめったにありません。SVM（データによって異なります）のように、比較するものも同様に複雑になります。良い解決策は（ユーザーにとって）一種のブラックボックスになることを彼らに理解させる必要があります。最善の方法は、単一の方程式よりも多くの労力を必要としない消費可能な実装を作成することです。PythonでRFモデルを構築することに成功しました（sklearn経由））、そのモデルをメモリにロードし、POSTで変数を受け入れて予測を出力する単純なWebサーバーREST APIを作成します。JavaまたはRでこれを非常に簡単に行うことも、APIをスキップして、データを引数として取る実行可能なバイナリ/ jarを作成することもできます。

SQL Server環境でランダムフォレストを展開した経験がありますUser Defined Function。トリックはIF-THEN ELSE、各ツリーから取得したルールをCASE-WHEN ENDまたはその他のConditional Processing構成に変換することです（確かに、私はJMP Proのブートストラップフォレストの実装-500k行のSQLコードを使用しました）。

rattle Rパッケージを使用してこれを実現できない理由はまったくありません。そのパッケージのrandomForest2Rules＆printRandomForests関数を見てください。どちらもrandom forest入力としてオブジェクトを受け取り、フォレスト内の各ツリーを訪問し、一連のIF-THEN ELSEルールを出力します。これを出発点として、上記の関数からの出力は構造化テキストであるため、このロジックを自動化して目的の言語に変換することは難しくありません。

上記では、最小の番号を決定することも重要になります。を維持するために、フォレスト内で必要な精度で予測を行うために必要なツリーの数（ヒント：plot（rf.object）は、ツリーを追加してもフォレストの予測が改善されないポイントを示します。）森を表す線の数。