モデルを検証するためにデータをサブセット化することは必須ですか？

モデルの検証に関して、上司と同じページを表示するのに苦労しています。私は残差を分析し（近似値に対して観察された）、これを引数として使用してモデルによって得られた結果を議論しましたが、上司は、モデルを検証する唯一の方法はデータのランダムなサブセットを作成することであると主張し、 70％のモデルを生成し、残りの30％にモデルを適用します。

実は、私の応答変数はゼロに膨らんでいて（その85％、より正確にするため）、結果に収束するのはすでに非常に難しいので、サブセットを作成しない方がいいです。

だから、私の質問は：モデルを検証するための可能な（そして科学的に受け入れられる）方法は何ですか？データのサブセット化は唯一の方法ですか？可能であれば、質問を記事や本で参照してください。そうすれば、選択肢を提示するときに、それを引数として使用できます。

最初に、私は通常、1つしかない という発言に注意することは良いことだと思います。何かをする方法。取得したサンプルを「トレーニング」と「テスト」のデータセットに分割することは、多くの機械学習/データサイエンスアプリケーションで一般的なアプローチです。多くの場合、これらのモデリングアプローチは、基礎となるデータ生成プロセスに関する仮説テストにはあまり関心がありません。実際、ほとんどの場合、この種のトレーニング/テスト分割は、予測パフォーマンスに関してモデルが過剰適合しているかどうかを確認したいだけです。もちろん、トレーニング/テストアプローチを使用して、特定のモデルがどのパラメーターが「有意」であるかに関して再現するかどうか、またはパラメーターの推定値が両方のインスタンスで期待される範囲内にあるかどうかを確認することもできます。

理論的には、モデルを検証または無効化することは、大規模な科学が行うことになっているものです。独立した研究者。観察可能な現象が発生する理由または状況下の理論についての議論を支持または否定する仮説を個別に調査、生成、およびテストします。したがって、あなたの質問に答えるために、私にとって、トレーニング/テストの分割でさえモデルを「検証」することはありません。これは、同じ一連の現象を研究している複数の独立した研究者から集められた何年もの証拠の重みがかかるものです。ただし、このテイクは、モデルの検証の意味と、適用された設定での検証という用語の意味についての意味論の違いの可能性があることを認めます...

データとモデリングのアプローチによっては、統計的な観点から、サンプルをトレーニングセットとテストセットに分割することが常に適切であるとは限りません。たとえば、小さなサンプルは、このアプローチを適用するのが特に難しい場合があります。さらに、一部の分布には特定のプロパティがあり、比較的大きなサンプルでもモデル化が困難な場合があります。ゼロ膨張のケースは、おそらくこの後者の説明に適合します。目的が、ある現象を説明すると考えられている一連の関係または基礎となるプロセスについての「真実」の概算に到達することである場合、所定の仮説をテストするための十分に能力のないアプローチを意図的に採用することはうまくいきません。したがって、おそらく最初のステップは、電力分析を実行して、サブセット化されたデータに関心のある結果を再現できるかどうかを確認することです。

別のオプションは、いくつかのモデルを指定して、観測されたデータを「よりよく」説明するかどうかを確認することです。ここでの目標は、一連の合理的な選択肢の中から最良のモデルを特定することです。これは、絶対的なものではなく、相対的なものであり、モデルについての議論です。基本的に、データを説明するためにポジショニングできる他のモデルが存在する可能性があることを認めていますが、そのモデルはテスト済みの代替セットの中で最高です（少なくともそう望んでいます）。セット内のすべてのモデル（仮説モデルを含む）は理論的に接地する必要があります。さもなければ、統計的なストローマンの束をセットアップするリスクを冒します。

代替シナリオと比較した特定の仮説について、データが与えられると、モデルが提供する証拠の重みを計算できるベイズ因子もあります。

これはオプションの完全なリストからはほど遠いですが、それが役に立てば幸いです。今からsoapboxを辞任します。人間の行動に関するすべての発表された研究のすべてのモデルが正しくないことを覚えておいてください。ほとんどの場合、関連する省略された変数、モデル化されていない相互作用、不完全にサンプリングされた母集団、および根底にある真実を不明瞭にするだけの単純な古いサンプリングエラーがあります。

一般に、データ分割は、内部検証を行うための非常に非競争的な方法です。これは、深刻なボラティリティが原因です。再分割時の「最終」モデルと「検証」が異なるため、推定値の平均二乗誤差（平均絶対予測誤差や）は、適切なリサンプリング手順よりも高いためです。ブートストラップなど。これについては、回帰モデリングの戦略に関する本とコースノートで詳しく説明しています。リサンプリングには、機能の選択でボラティリティを公開するという、もう1つの大きな利点があります。$R^2$

質問がいくぶん不明確であるため、ここでの答えは分岐していると思います。「検証」とはどういう意味ですか？

70または30の分割（またはその問題の相互検証）は、通常、モデルまたは分析チェーン全体（モデルの選択を含む場合もある）の予測パフォーマンスを評価するために実行されます。このような検証は、予測パフォーマンスに関してさまざまなモデリングオプションを比較する場合に特に重要です。

モデルを選択したくない場合や、予測パフォーマンスなどに関心がなく、推論（回帰推定/ p値）に関心があり、モデル/エラーの仮定が妥当かどうかを検証する場合は、まったく別のケースです。 GLMMの十分です。この場合、ホールドアウトを予測し、予測を観測データと比較することは可能ですが、はるかに一般的な手順は残差分析を行うことです。これを上司に証明する必要がある場合：これは基本的に、すべての統計の教科書が線形回帰の直後に行うことを教えるものです。

DHARMaパッケージ（免責事項：私はメンテナーです）を使用してGLMMの残差分析を実行する方法（glmmadmbよりも望ましいglmmTMBによるゼロインフレを含む）については、こちらを参照してください。

つまり、トレーニングで使用されていないデータに対するモデルのパフォーマンスを評価する必要があります。

最新のモデル構築手法は、データを任意にうまくフィッティングするのに非常に優れており、ノイズのある信号を簡単に見つけることができます。したがって、トレーニングデータに対するモデルのパフォーマンスは、ほとんどの場合バイアスされます。

クロス検証のトピック（ハイパーパラメーターを調整していない場合でも）を調べて、データを保持する理由、データが機能するタイミング、関係する仮定などについて理解を深めることは、時間の価値があります。私のお気に入りの論文の1つは：

k分割交差検証の分散の不偏推定量なし