R:Anovaと線形回帰


9

私は統計に不慣れで、ANOVAと線形回帰の違いを理解しようとしています。私はこれを調査するためにRを使用しています。ANOVAと回帰が異なるのになぜ同じであるか、どのように視覚化できるかなど、さまざまな記事を読みました。

ANOVAがグループ内の分散とグループ間の分散を比較して、テストされたグループ間に差異があるかどうかを判断することを理解しています。(https://controls.engin.umich.edu/wiki/index.php/Factor_analysis_and_ANOVA

線形回帰の場合、私はこのフォーラムでb(勾配)= 0かどうかをテストすると同じことがテストできるという投稿を見つけました

3つ以上のグループについて、次のようなウェブサイトを見つけました。

帰無仮説は次のとおりです:H0:µ1=µ2=µ3

線形回帰モデルは次のとおりです:y=b0+b1X1+b2X2+e

ただし、線形回帰の出力は1つのグループの切片であり、他の2つのグループの切片との差です。(http://www.real-statistics.com/multiple-regression/anova-using-regression/

私にとって、これは実際には傾きではなく切片が比較されているように見えますか?

勾配ではなく切片を比較する別の例は、ここにあります:(http://www.theanalysisfactor.com/why-anova-and-linear-regression-are-the-same-analysis/

線形回帰で実際に比較されるものを理解するのに苦労していますか?傾斜、切片、またはその両方?


回答:


16

これは実際には傾きではなく切片が比較されるように見えますか?

そこでの混乱は、どの切片と勾配を意味するのか(何の切片?何の勾配?)を明確にするために非常に注意する必要があるという事実に関連しています。

回帰における0-1ダミーの係数の役割は、傾き切片の違いの両方と考えることができます。

2サンプルの場合を考慮して、可能な限り簡略化しましょう。

2つのサンプルを使用して一元配置分散分析を実行することもできますが、両側2サンプルのt検定(等分散の場合)と本質的に同じであることがわかります。

人口状況の図は次のとおりです。

回帰としての2つのグループ平均、人口状況

場合は、その後、モデルの線形人口がありますδ=μ2μ1

y=μ1+δx+e

したがって、(グループ1の場合)の場合、の平均はあり、場合(グループ2の場合) 、の平均はです。x=0yμ1+δ×0=μ1x=1yμ1+δ×1=μ1+μ2μ1=μ2

つまり、勾配の係数(この場合は)であり、平均の差(およびこれらの平均は切片と考えることができます)は同じ量です。δ

具体性を高めるために、ここに2つのサンプルがあります。

Group1:  9.5  9.8 11.8
Group2: 11.0 13.4 12.5 13.9

彼らはどのように見えますか?

サンプルプロット

平均の差の検定はどのように見えますか?

t検定として:

    Two Sample t-test

data:  values by group
t = -5.0375, df = 5, p-value = 0.003976
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -4.530882 -1.469118
sample estimates:
mean in group g1 mean in group g2 
             9.9             12.9 

回帰として:

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   9.9000     0.4502  21.991 3.61e-06 ***
groupg2       3.0000     0.5955   5.037  0.00398 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1   1

Residual standard error: 0.7797 on 5 degrees of freedom
Multiple R-squared:  0.8354,    Adjusted R-squared:  0.8025 
F-statistic: 25.38 on 1 and 5 DF,  p-value: 0.003976

回帰では、切片項がグループ1の平均であり、groupg2係数(「勾配」係数)がグループ平均の差であることがわかります。一方、回帰のp値はt検定のp値と同じです(0.003976)


この非常に役立つ例をありがとうございました。まだ未解決の問題があることに気づきました。なぜ傾きがμ2−μ1と表示されるのか理解できませんか?傾きはm =デルタY /デルタXとして定義されていませんか?
ポール

2
それはです。ただし、およびしたがって、。つまり、0/1とコーディングすると、傾きが違います。Δx=10=1Δy=(μ1+δ×1)(μ1+δ×0)=δ=μ2μ1Δy/Δx=(μ2μ1)/1=μ2μ1
Glen_b-2013

+1なぜ勾配が差に等しいのかを示す図解は、私を大いに助けました!!
Haitao Du
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.