GAM近似の概要

GAMを次のように適合させる場合：

gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + 
    s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College)

ここでCollege、パッケージ内にあるデータセットを使用しますISLR。
さて、この適合の要約を見つけると、次のことがわかります。

> summary(gam.fit)

Call: gam(formula = Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, 
    df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, 
    df = 2), data = College)
Deviance Residuals:
     Min       1Q   Median       3Q      Max 
-7522.66 -1140.99    55.18  1287.51  7918.22 

(Dispersion Parameter for gaussian family taken to be 3475698)

    Null Deviance: 12559297426 on 776 degrees of freedom
Residual Deviance: 2648482333 on 762.0001 degrees of freedom
AIC: 13924.52 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
                        Df     Sum Sq    Mean Sq F value    Pr(>F)    
Private                  1 3377801998 3377801998 971.834 < 2.2e-16 ***
s(Room.Board, df = 2)    1 2484460409 2484460409 714.809 < 2.2e-16 ***
s(PhD, df = 2)           1  839368837  839368837 241.496 < 2.2e-16 ***
s(perc.alumni, df = 2)   1  509679160  509679160 146.641 < 2.2e-16 ***
s(Expend, df = 5)        1 1019968912 1019968912 293.457 < 2.2e-16 ***
s(Grad.Rate, df = 2)     1  148052210  148052210  42.596 1.227e-10 ***
Residuals              762 2648482333    3475698                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Anova for Nonparametric Effects
                       Npar Df Npar F   Pr(F)    
(Intercept)                                      
Private                                          
s(Room.Board, df = 2)        1  3.480 0.06252 .  
s(PhD, df = 2)               1  1.916 0.16668    
s(perc.alumni, df = 2)       1  1.471 0.22552    
s(Expend, df = 5)            4 34.350 < 2e-16 ***
s(Grad.Rate, df = 2)         1  1.981 0.15971    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

ここでは、「パラメトリック効果のAnova」と「ノンパラメトリック効果のAnova」の部分の意味がわかりません。ANOVAテストの動作は知っていますが、要約の「パラメトリック効果」と「非パラメトリック効果」の部分を理解できません。それらの意味は何ですか？

この質問は、この回答の（d）部分のために発生しました。質問10については、統計学習の導入の第7章です。

GAMをフィッティングするこのアプローチの出力の構造は、スムーザーの線形部分を他のパラメーター項とグループ化することです。通知は、Private最初のテーブルのエントリを持っていますが、それのエントリは、第二に空です。これはPrivate、厳密にパラメトリックな用語であるためです。これは因子変数であるため、の効果を表す推定パラメーターに関連付けられていますPrivate。平滑項が2種類の効果に分けられている理由は、この出力により、平滑項が

1. 非線形効果：ノンパラメトリックテーブルを見て、有意性を評価します。重要な場合は、滑らかな非線形効果のままにします。重要でない場合は、線形効果を考慮します（下の2.）
2. 線形効果：パラメトリックテーブルを見て、線形効果の重要性を評価します。あなたがスムーズに用語を回すことができる重要な場合s(x)- > x式でモデルを記述する。重要でない場合は、モデルから用語を完全に削除することを検討してください（ただし、これには注意してください---これは、真の効果が== 0であるという強い声明になります）。

パラメトリック表

ここのエントリは、これに線形モデルを適合させてANOVAテーブルを計算した場合に得られるものに似ていますが、関連するモデル係数の推定値は表示されません。推定係数と標準誤差、および関連するtまたはWald検定の代わりに、説明された分散の量（平方和の観点から）がF検定とともに表示されます。複数の共変量（または共変量の関数）を備えた他の回帰モデルと同様に、テーブル内のエントリは、モデル内の他の用語/関数を条件としています。

ノンパラメトリックテーブル

ノンパラメトリック効果が嵌め込まスムーザーの非線形部分に関連します。これらの非線形効果は、の非線形効果を除いて重要ですExpend。の非線形効果のいくつかの証拠がありRoom.Boardます。これはそれぞれ、いくつかのノンパラメトリック自由度（Npar Df）に関連付けられており、応答の変動量を説明します。その変動量は、F検定によって評価されます（デフォルトでは、引数を参照test）。

ノンパラメトリックセクションのこれらの検定は、非線形関係ではなく線形関係の帰無仮説の検定として解釈できます。

これを解釈する方法はExpend、滑らかな非線形効果として扱われることのみを保証することです。他の平滑化は、線形パラメトリック項に変換できます。Room.Board他の平滑化を線形のパラメトリック項に変換すると、平滑化が引き続き有意でないノンパラメトリック効果を持つことを確認できます。の効果Room.Boardはわずかに非線形である可能性がありますが、これはモデル内の他の滑らかな項の存在の影響を受けています。

ただし、これの多くは、多くのスムースが2自由度しか使用できないという事実に依存する可能性があります。なぜ2？

自動滑らかさの選択

GAMをフィッティングするための新しいアプローチでは、推奨パッケージmgcvで実装されているSimon Woodのペナルティスプラインアプローチなどの自動平滑度選択アプローチを使用して、平滑度を選択します。

data(College, package = 'ISLR')
library('mgcv')

set.seed(1)
nr <- nrow(College)
train <- with(College, sample(nr, ceiling(nr/2)))
College.train <- College[train, ]
m <- mgcv::gam(Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
               s(Expend) + s(Grad.Rate), data = College.train,
               method = 'REML')

モデルの要約はより簡潔で、滑らかな関数を線形（パラメトリック）および非線形（ノンパラメトリック）の寄与としてではなく、全体として直接考慮します。

> summary(m)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8544.1      217.2  39.330   <2e-16 ***
PrivateYes    2499.2      274.2   9.115   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.190  2.776 20.233 3.91e-11 ***
s(PhD)         2.433  3.116  3.037 0.029249 *  
s(perc.alumni) 1.656  2.072 15.888 1.84e-07 ***
s(Expend)      4.528  5.592 19.614  < 2e-16 ***
s(Grad.Rate)   2.125  2.710  6.553 0.000452 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.2%
-REML = 3436.4  Scale est. = 3.3143e+06  n = 389

これで、出力は滑らかな項とパラメトリック項を別々のテーブルに収集し、後者は線形モデルの出力に似たより馴染みのある出力を取得します。効果全体のスムーズな用語は下の表に示されています。これらは、gam::gam表示するモデルと同じテストではありません。これらは、滑らかな効果が平坦な水平線、ヌル効果、またはゼロ効果を示すという帰無仮説に対するテストです。別の方法は、真の非線形効果がゼロとは異なることです。

EDFはを除いてすべて2より大きいことに注意してくださいs(perc.alumni)。これは、gam::gamモデルが少し制限されている可能性があることを示唆しています。

比較のための近似平滑化は

plot(m, pages = 1, scheme = 1, all.terms = TRUE, seWithMean = TRUE)

生産する

自動平滑化の選択は、モデルから用語を完全に縮小するように選択することもできます。

それを行った後、モデルの適合は実際には変更されていないことがわかります

> summary(m2)

Family: gaussian 
Link function: identity 

Formula:
Outstate ~ Private + s(Room.Board) + s(PhD) + s(perc.alumni) + 
    s(Expend) + s(Grad.Rate)

Parametric coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   8539.4      214.8  39.755   <2e-16 ***
PrivateYes    2505.7      270.4   9.266   <2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Approximate significance of smooth terms:
                 edf Ref.df      F  p-value    
s(Room.Board)  2.260      9  6.338 3.95e-14 ***
s(PhD)         1.809      9  0.913  0.00611 ** 
s(perc.alumni) 1.544      9  3.542 8.21e-09 ***
s(Expend)      4.234      9 13.517  < 2e-16 ***
s(Grad.Rate)   2.114      9  2.209 1.01e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

R-sq.(adj) =  0.794   Deviance explained = 80.1%
-REML = 3475.3  Scale est. = 3.3145e+06  n = 389

すべてのスムースは、スプラインの線形部分と非線形部分を縮小した後でも、わずかに非線形効果を示唆しているようです。

個人的には、mgcvからの出力は解釈が容易であり、データによってサポートされている場合、自動スムーズ選択方法は線形効果に適合する傾向があることが示されているためです。