ランダムフォレストとブースティングはパラメトリックですか、ノンパラメトリックですか？

優れた統計モデリング：2つの文化（Breiman 2001）を読むことにより、従来の統計モデル（線形回帰など）と機械学習アルゴリズム（バギング、ランダムフォレスト、ブーストツリーなど）のすべての違いを把握できます。

ブライマンはデータモデル（パラメトリック）を批判します。これは、統計が統計学者によって規定された既知の正式なモデルによって観測が生成されるという仮定に基づいているためです。一方、MLアルゴは正式なモデルを想定せず、データから入力変数と出力変数の間の関連付けを直接学習します。

Bagging / RFとBoostingもパラメータの一種であることに気付きました。たとえば、ntree、RFのmtry、学習率、bag fraction、Stochastic Gradient Boosted ツリーのツリー複雑度はすべてチューニングパラメーターです。また、データを使用してこれらのパラメーターの最適な値を見つけるため、データからこれらのパラメーターを推定することもできます。

それで、違いは何ですか？RFおよびブーストツリーはパラメトリックモデルですか？

パラメトリックモデルにはパラメーター（それらを無効にする）またはデータ分布に関する仮定がありますが、RF、ニューラルネットまたはブースティングツリーにはアルゴリズム自体に関連するパラメーターがありますが、データ分布に関する仮定やデータを理論的分布に分類する必要はありません。実際、ほとんどすべてのアルゴリズムには、最適化に関連する反復やマージン値などのパラメーターがあります。

パラメトリックおよびノンパラメトリックの基準はこれだと思います：トレーニングサンプルの数とともにパラメーターの数が増えるかどうか。ロジスティック回帰およびsvmの場合、機能を選択するときに、トレーニングデータを追加してパラメーターを取得することはありません。ただし、RFなどの場合、ツリーの数は変わらなくても、モデルの詳細は（ツリーの深さなど）変わります。

統計的な意味では、データに基づいてパラメーターが学習または推測される場合、モデルはパラメトリックです。この意味でのツリーはノンパラメトリックです。もちろん、ツリーの深さはアルゴリズムのパラメーターですが、本質的にデータから派生したものではなく、ユーザーが提供する必要がある入力パラメーターです。