スプライン、平滑化スプライン、およびガウスプロセスエミュレーターを使用する利点/欠点は何ですか？

多項式補間の代替方法を学習（および実装）することに興味があります。

しかし、これらの方法のしくみ、関連性、比較方法についての適切な説明を見つけるのに苦労しています。

これらの方法や代替案が役立つ長所/短所/条件についてのご意見をいただければ幸いですが、テキスト、スライド、ポッドキャストへの適切な参照があれば十分です。

基本的なOLS回帰は、関数を一連のデータに適合させるための非常に優れた手法です。ただし、単純な回帰は、可能な範囲全体で一定の直線のみに適合します。これは、特定の状況には適切でない場合があります。たとえば、データは曲線関係を示す場合があります。これは、回帰の手段によって対処することができる形質転換に、。さまざまな変換が可能です。と間の関係が単調であるが、連続的に先細りになる状況では、対数変換$X$$Y$$X$$f(X)$$X$$Y$に使える。別の一般的な選択は、を一連の累乗（たとえば、、など）に上げることによって新しい項が形成される多項式を使用することです。この戦略は簡単に実装でき、データ内に存在する「ベンド」の数を示すものとしてフィットを解釈できます（ベンドの数は、必要な最大電力から1を引いた値に等しくなります）。 $X$$X^2$$X^3$

ただし、対数または共変量の指数に基づく回帰は、それが真の関係の正確な性質である場合にのみ最適に適合します。と間に曲線関係があり、それらの変換がもたらす可能性とは異なると想像するのは非常に合理的です。したがって、私たちは他の2つの戦略に取り組みます。最初のアプローチは、移動ウィンドウで計算された一連の加重線形回帰であるloessです。このアプローチは古く、探索的データ分析により適しています。 $X$$Y$

もう1つの方法は、スプラインを使用することです。最も単純な場合、スプラインはの範囲の一部にのみ適用される新しい用語です。たとえば、範囲は0〜1で、スプライン項の範囲は.7〜1のみです。この場合、.7は結び目です。単純な線形スプライン項は、次のように計算されます で、元のに加えてモデルに追加されます$X$$X$

$$X_{\rm spline} = \begin{cases} 0\quad &\text{if } X\le{.7} \\ X-.7\quad &\text{if } X>.7 \end{cases}$$
$X$期間。当てはめられたモデルは、0から0.7の直線と0.7で鋭い切れ目を示し、直線は0.7から1の異なる勾配で続きます。ただし、スプライン項は線形である必要はありません。具体的には、3次スプラインが特に有用であると判断されました（つまり、）。鋭い休憩もそこにある必要はありません。1次および2次導関数がノットで一致するように適合パラメーターを制約するアルゴリズムが開発されており、出力でノットを検出できなくなります。このすべての最終結果は、わずか数ノット（通常は3-5）と（ソフトウェアがあなたのために決定することができます）選択の場所ではかなり再現できるということである任意の$X_{\rm spline}^3$曲線。さらに、自由度が正しく計算されるため、結果を信頼できます。これは、最初にデータを調べてから、曲がりが見られたために2乗項を当てはめる場合は当てはまりません。さらに、これらはすべて、基本的な線形モデルの別の（より複雑な）バージョンです。したがって、線形モデルで得られるものはすべてこれに付属しています（たとえば、予測、残差、信頼帯、テストなど）。これらは大きな利点です。

私が知っているこれらのトピックの最も簡単な紹介は次のとおりです。

• フォックス、J。（2000）。ノンパラメトリック単純回帰：散布図の平滑化、セージ。

Cosma Shaliziのレクチャーコースの基本的な観点からの高度なデータ分析に関するオンラインノートは、この問題に関して非常に優れており、補間と回帰が同じ問題に対する2つのアプローチであるという観点から物事を見ています。特に、スムージング方法とスプラインに関する章に注意を向けたいと思います。