モデルに線形項ではなく二次項を追加するのは理にかなっていますか？

私は（混合）モデルを持っています。このモデルでは、予測子の1つが（実験的な操作のために）予測子に2次関数的にのみ関連付けられる必要があります。したがって、二次項のみをモデルに追加したいと思います。次の2つの理由により、そうすることができません。

1. 高次の多項式をあてはめるときは、常に低次の多項式を含めるべきだと読んだと思います。見つけた場所を忘れてしまい、調べた文献（たとえば、Faraway、2002; Fox、2002）では、良い説明が見つかりません。
2. 線形項と二次項の両方を追加すると、両方が重要になります。それらの1つだけを追加する場合、それらは重要ではありません。ただし、予測変数とデータの線形関係は解釈できません。

私の質問のコンテキストは、具体的にはを使用した混合モデルlme4ですが、なぜ高次の多項式ではなく高次の多項式を含めるのが良いのか、なぜいけないのかを説明できる答えを得たいと思います。

必要に応じて、データを提供できます。

1.なぜ線形項を含めるのですか？

二次関係が次の2つの方法で記述できることに気付くのは明らかです。

$$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$$

（ここで、係数をすると、および）。値は、関係のグローバルな極値に対応します（幾何学的には、放物線の頂点を特定します）。a 2 b 2 + c = a 0 x = $-2a_2 b = a_1$$a_2 b^2 + c = a_0$$x=b$

線形項含めない場合、可能性は$a_1 x$

$$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$$

（ここで、明らかに、あり、モデルに定数項が含まれると仮定されます）。つまり、を強制します。$c = a_0$$a_0$$b=0$

これに照らして、質問＃1は、グローバルな極値が発生しなければならないことを確信できるかどうかにかかっています。もしそうなら、線形項安全に省略できます。それ以外の場合は、含める必要があります。$x=0$$a_1 x$

2.用語の包含または除外に伴う重要性の変化を理解する方法は？

これについては、https：//stats.stackexchange.com/a/28493の関連スレッドで詳細に説明されています。

この場合、の有意性は関係に曲率があることを示し、の有意性はが非ゼロであることを示します。両方の項（もちろん定数も）を含める必要があるようです。$a_2$$a_1$$b$

@whuberはここで本当に優れた答えを出しました。ちょっとした無料ポイントを追加したいだけです。質問は、「予測子とデータの線形関係は解釈できない」と述べています。これはよくある誤解を示唆していますが、私は通常、反対側でそれを聞きます（「2乗（立方体など）の用語の解釈は何ですか？」）。

複数の異なる共変量を持つモデルがある場合、通常、各ベータ[用語]に独自の解釈を与えることができます。たとえば、次の場合：

$$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$$

（GPAは成績平均点を意味します;
ランクは同じ高校の他の生徒と比較した生徒のGPAの順序です;＆
SATは「学力適性試験」を意味し ます。

その後、各ベータ/用語に個別の解釈を割り当てることができます。たとえば、生徒の高校のGPAが1ポイント高い場合（他のすべてが等しい場合）、大学のGPAはポイント高くなると予想されます。 $\beta_1$

ただし、この方法でモデルを解釈することが常に許可されるとは限らないことに注意することが重要です。明らかなケースの1つは、個々の用語が異なっていても他のすべてを一定に保つことができないため、いくつかの変数間で相互作用がある場合です。必要に応じて、相互作用用語も変わります。したがって、相互作用がある場合、よく理解されているように、主な効果ではなく単純な効果のみを解釈します。

べき乗項のある状況は直接類似していますが、残念ながら、広く理解されていないようです。以下のモデルを考える： （この状況では、原型連続共変量を表すことを意図している。）ことは不可能であるなく変更するも変化し、およびその逆。簡単に言えば、モデルに多項式の項がある場合、同じ基礎となる共変量に基づいたさまざまな項には個別の解釈は与えられません。 （、、など）という用語は、任意の独立した意味を有していません。 その事実

$$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$$ $x$$x$$x^2$$x^2$$x$$x^{17}$$p$-power多項式の項は、モデルで「有意」であり、および関連する関数に「曲がり」があることを示します。曲率が存在する場合、解釈はより複雑になり、場合によっては直感的ではなくなることは残念ですが、避けられません。変化を評価するにはなどの変化を、私たちは、微積分を使用する必要があります。上記のモデルの誘導体である： の期待値の変化の瞬間速度であるとして変化、他のすべてが等しいです。これは、最上位モデルの解釈ほどきれいではありません。重要なのは、瞬間的な変化率$p-1$$x$$y$$\hat{y}$$x$
$$\frac{dy}{dx}=\beta_1+2\beta_2x$$ $y$$x$$y$ は、変更が評価されるのレベルに依存します$x$。さらに、の変化率は瞬間的な率です。つまり、からの間隔全体でそれ自体が連続的に変化しています。これは単に曲線関係の性質です。 $y$$x_{old}$$x_{new}$

上記の @whuberの答えは、線形項を省略することは「通常の」二次モデルであるということは、「極値があることを絶対に確信している」と同等であることを指摘する上で目標にぴったりです。$x=0$

ただし、使用しているソフトウェアに「落とし穴」があるかどうかも確認する必要があります。一部のソフトウェアは、多項式のセンタリングをオフにしない限り、多項式を近似して係数をテストするときにデータを自動的にセンタリングする場合があります。つまり、ような式に適合しここで、はの平均です。これは、極値を強制します。 ˉ X X X = ˉ $Y = b_0 + b_2(x - \bar{x})^2$$\bar{x}$$x$$x=\bar{x}$

線形項と二次項の両方を入力すると重要になるというステートメントには、明確化が必要です。たとえば、SASはその例のタイプIおよび/またはタイプIIIテストを報告する場合があります。タイプIは、2次を入れる前に線形をテストします。タイプIIIは、モデルの2次で線形をテストします。

Brambor、Clark and Golder（2006）（インターネットの付録に付属）は、相互作用モデルを理解する方法と、（ほとんど）常に低次の用語を含める必要がある理由を含め、一般的な落とし穴を回避する方法について非常に明確な見解を持っています（相互作用モデルの「構成用語」）。

アナリストは、非常にまれな状況を除いて、乗法的相互作用モデルを指定するときにすべての構成用語を含める必要があります。構成用語とは、相互作用用語を構成する各要素を意味します。[..]

ただし、乗法的相互作用モデルはさまざまな形式をとることができ、などの2次項またはなどの高次の相互作用項を含む場合があることに。相互作用用語がどのような形式をとっても、すべての構成用語を含める必要があります。したがって、相互作用項がある場合に含まれるべきである及び、、、、、及び相互作用項がある場合に含まれるべきである。 X Z J X X 2 X Z J X Z X J Z J X Z $X^2$$XZJ$$X$$X^2$$X$$Z$$J$$XZ$$XJ$$ZJ$$XZJ$

そうしないと、モデルの指定が不十分になり、推定値に偏りが生じる可能性があります。これにより推論エラーが発生する場合があります。

これはケースであり、場合どちらかと相関する（または）における実質的に任意の社会科学の状況を発生するように、その後、構成用語を省略すると、のバイアスされた（および一貫性のない）の推定をもたらすであろう、、および。常にそのように認識されているわけではありませんが、これは変数バイアスが省略された単純なケースです（Greene 2003、pp。148–149）。X Z X Z β 0 β 1 β $Z$$XZ$$X$$Z$$\beta_0$$\beta_1$$\beta_3$