ノンパラメトリック平滑化回帰による交差検証

回帰モデルを使用する場合、線形関連の仮定にデフォルトを設定することに不信感を覚えます。代わりに、必要に応じて非線形最小二乗回帰を使用してパラメトリックモデルを推定する前に、ノンパラメトリック平滑化回帰（たとえば、一般化された加法モデル、lowess / lowess、実行ラインスムーザーなど）を使用して、従属変数と説明変数間の関係の関数形式を調査しますノンパラメトリックモデルによって提案された関数のパラメーターを推定します。

そのようなアプローチのノンパラメトリック平滑化回帰フェーズで交差検証を実行することについて考える良い方法は何ですか？ランダムホールドアウトサンプルAで「折れたスティック」線形ヒンジ関数によって近似される関係が明らかである可能性があるのに対し、ホールドアウトサンプルBは放物線しきい値ヒンジ関数によって近似される関係を示唆する状況に遭遇するのではないかと思います。

非網羅的なアプローチをとって、データのランダムに選択された部分を抑制し、ノンパラメトリック回帰を実行し、結果の妥当な関数形式を解釈し、これを数回（人間が管理可能な）回数繰り返し、精神的に妥当な関数形式を数える？

または、徹底的なアプローチ（LOOCVなど）を実行し、アルゴリズムを使用して「すべてのスムージング」をスムージングし、最もスムースなスムースを使用してもっともらしい機能形式を通知しますか？（ただし、リフレクションでは、十分に大きなサンプルの関数形式が単一のデータポイントによって変更される可能性が低いため、LOOCVが非常に異なる関数の関係をもたらす可能性は非常に低いと思います。）

私のアプリケーションは通常、人間が管理できる数の予測変数（たとえば、数握りから数十）を伴いますが、サンプルサイズは数百から数十万の範囲になります。私の目的は、直観的に伝達され、簡単に翻訳できるモデルを作成することです。これは、私のデータセット以外の人々が予測を行うために使用でき、結果変数を含みません。

回答の参照は大歓迎です。

あなたの質問には2つの混乱があるように私には思えます：

• まず、線形（最小二乗）回帰では、独立変数ではなく、パラメーターでの線形関係が必要です。

  したがって、は通常の最小二乗法で推定できます（はパラメーター、、線形関数です））、一方、はできません（はパラメーター線形ではありません）。$y=a + b \cdot x e^{-x} + c \cdot \frac{z}{1 + x^2}$$y$$a$$b$$c$$y = a + b \cdot x + b^2 \cdot z$$y$$b$

• 第二に、どのようにスムーザーから「正しい」機能モデルを決定するのですか、つまり、ステップ1からステップ2にどのように進むのですか

  私の知る限りでは、スプラインやニューラルネットなどの平滑化手法から「使用するリグレッサの関数」を推測する方法はありません。平滑化された出力をプロットし、直観によって関係を決定することを除いて、私には非常に堅牢に聞こえますが、スキャッタープロットだけで平滑化する必要はないようです。

最終目標が線形回帰モデルであり、問​​題が、使用するべきリグレッサの関数形が正確にわからない場合は、正則化線形回帰モデル（LASSOなど）を元のリグレッサの大規模な展開（リグレッサの多項式、指数、対数など）正則化手順により、不要なリグレッサが排除され、（うまくいけば）パラメトリックモデルが得られます。また、交差検証を使用して、最適なペナルティパラメーター（モデルの実際の自由度を決定する）を決定できます。

ノンパラメトリック回帰は、正規化線形モデルがノンパラメトリック平滑化と同様に外部データを予測することを確認する方法として、汎化エラーのベンチマークとしていつでも使用できます。