回帰におけるB-スプラインVS高次多項式

具体的な例や課題は考えていません。私はbスプラインを使うのが初めてで、この関数を回帰のコンテキストでよりよく理解したかったのです。

応答変数といくつかの予測子x 1、x 2、との関係を評価したいとします。。。、x p。予測子には、いくつかの数値変数といくつかのカテゴリカル変数が含まれています。$y$$x_1, x_2,...,x_p$

回帰モデルを当てはめた後、数値変数の1つ、たとえばが有意であるとしましょう。その後の論理的ステップは、オーバーフィッティングなしで関係を適切に説明するために、高次多項式、たとえばx 2 1とx 3 1が必要かどうかを評価することです。$x_1$$x_1^2$$x_1^3$

私の質問は：

1. どの時点で、bスプラインまたは単純な高次多項式を選択しましたか。例：R：

   y ~ poly(x1,3) + x2 + x3
   

   対

    y ~ bs(x1,3) + x2 + x3
   

2. プロットを使用して、これら2つの間の選択を通知する方法と、プロットから本当に明確でない場合はどうなるか（例：大量のデータポイントが原因）

3. とx 3の間の双方向相互作用項をどのように評価しますか$x_2$$x_3$

4. 上記の方法は、モデルの種類によってどのように変わりますか

5. 高次多項式を使用せず、常にBスプラインをフィッティングして高い柔軟性にペナルティを課すことを検討しますか？

私は通常、多項式ではなくスプラインのみを考慮します。多項式はしきい値をモデル化できず、多くの場合望ましくないグローバルです。つまり、予測子のある範囲での観測は、異なる範囲でのモデルの動作に強い影響を与えます（Magee、1998、The American StatisticianおよびFrank Harrell's Regression Modeling Strategies）。そしてもちろん、極値ノットの外側で線形である制限付きスプラインは、予測値の極値での外挿または内挿に適しています。

多項式を検討した方がよいケースの1つは、技術者以外の読者にモデルを説明することが重要な場合です。人々は多項式をスプラインよりもよく理解しています。（編集：マシュードゥルーリーは、人々は多項式をスプラインよりもよく理解しているだけだと思うかもしれないと指摘しています。私はこの質問には賛成しません。）

プロットは、多くの場合、非線形性を処理するさまざまな方法を決定するのにあまり役に立ちません。相互検証を行う方が良い。これは、相互作用を評価したり、適切なペナルティを見つけるのにも役立ちます。

最後に、上記のポイントは統計モデルまたはMLモデルに有効であるため、モデルの種類によって私の答えは変わりません。

「統計学習の要素」のセクション7.4.5では、次の理由により、スプラインは多項式回帰よりも優れた結果をもたらすことが多いと言われています。

• それは柔軟なはめあいを生成します。
• より安定した見積もりを作成します。
• 多項式は境界で望ましくない結果を生成する可能性があります。