Pythonの多重線形回帰


129

重回帰を行うPythonライブラリを見つけることができないようです。私が見つけた唯一のものは、単純な回帰のみです。いくつかの独立変数(x1、x2、x3など)に対して依存変数(y)を回帰する必要があります。

たとえば、次のデータの場合:

print 'y        x1      x2       x3       x4      x5     x6       x7'
for t in texts:
    print "{:>7.1f}{:>10.2f}{:>9.2f}{:>9.2f}{:>10.2f}{:>7.2f}{:>7.2f}{:>9.2f}" /
   .format(t.y,t.x1,t.x2,t.x3,t.x4,t.x5,t.x6,t.x7)

(上記の出力:)

      y        x1       x2       x3        x4     x5     x6       x7
   -6.0     -4.95    -5.87    -0.76     14.73   4.02   0.20     0.45
   -5.0     -4.55    -4.52    -0.71     13.74   4.47   0.16     0.50
  -10.0    -10.96   -11.64    -0.98     15.49   4.18   0.19     0.53
   -5.0     -1.08    -3.36     0.75     24.72   4.96   0.16     0.60
   -8.0     -6.52    -7.45    -0.86     16.59   4.29   0.10     0.48
   -3.0     -0.81    -2.36    -0.50     22.44   4.81   0.15     0.53
   -6.0     -7.01    -7.33    -0.33     13.93   4.32   0.21     0.50
   -8.0     -4.46    -7.65    -0.94     11.40   4.43   0.16     0.49
   -8.0    -11.54   -10.03    -1.03     18.18   4.28   0.21     0.55

線形回帰式を取得するには、これらをpythonでどのように回帰しますか?

Y = a1x1 + a2x2 + a3x3 + a4x4 + a5x5 + a6x6 + + a7x7 + c


専門家ではありませんが、変数が独立している場合、それぞれに対して単純な回帰を実行して結果を合計できませんか?
ヒューボスウェル

8
@HughBothwell変数が独立しているとは限りません。実際、変数が独立していると想定している場合は、データを誤ってモデリングしている可能性があります。言い換えると、応答Yは互いに相関している可能性がありますが、独立性があると仮定すると、データセットが正確にモデル化されません。
hlin117 2015年

@HughBothwellこれが質問の場合は申し訳ありませんが、生の特徴変数x_iが独立しているかどうかが問題になるのはなぜですか?それは予測子(=モデル)にどのように影響しますか?
チャーリーパーカー

回答:


100

sklearn.linear_model.LinearRegression それを行います:

from sklearn import linear_model
clf = linear_model.LinearRegression()
clf.fit([[getattr(t, 'x%d' % i) for i in range(1, 8)] for t in texts],
        [t.y for t in texts])

次にclf.coef_、回帰係数があります。

sklearn.linear_model には、回帰に対してさまざまな種類の正則化を行うための同様のインターフェースもあります。


2
これは、特定の入力でエラーを返します。他に利用できる解決策はありますか?
Zach

@Dougalは、sklearn.linear_model.LinearRegressionを加重多変量回帰にも使用できますか?
user961627 14年

1
定数項に適合するには:clf = linear_model.LinearRegression(fit_intercept = True)
Imran

2
フォローアップ、sklearn.linear_model.LinearRegressionを使用して信頼レベルを取得する方法を知っていますか?ありがとう。
Huanian Zhang 2016

1
@HuanianZhang信頼レベルとはどういう意味ですか?決定係数が必要な場合、scoreメソッドが決定します。sklearn.metrics他にもいくつかのモデル評価基準があります。Akavallの答えのようなものが必要な場合は、statsmodelsにさらにRに似た診断があります。
Dougal 2016年

60

これが私が作成した回避策です。私はそれをRで確認しましたが、正しく動作します。

import numpy as np
import statsmodels.api as sm

y = [1,2,3,4,3,4,5,4,5,5,4,5,4,5,4,5,6,5,4,5,4,3,4]

x = [
     [4,2,3,4,5,4,5,6,7,4,8,9,8,8,6,6,5,5,5,5,5,5,5],
     [4,1,2,3,4,5,6,7,5,8,7,8,7,8,7,8,7,7,7,7,7,6,5],
     [4,1,2,5,6,7,8,9,7,8,7,8,7,7,7,7,7,7,6,6,4,4,4]
     ]

def reg_m(y, x):
    ones = np.ones(len(x[0]))
    X = sm.add_constant(np.column_stack((x[0], ones)))
    for ele in x[1:]:
        X = sm.add_constant(np.column_stack((ele, X)))
    results = sm.OLS(y, X).fit()
    return results

結果:

print reg_m(y, x).summary()

出力:

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       0.535
Model:                            OLS   Adj. R-squared:                  0.461
Method:                 Least Squares   F-statistic:                     7.281
Date:                Tue, 19 Feb 2013   Prob (F-statistic):            0.00191
Time:                        21:51:28   Log-Likelihood:                -26.025
No. Observations:                  23   AIC:                             60.05
Df Residuals:                      19   BIC:                             64.59
Df Model:                           3                                         
==============================================================================
                 coef    std err          t      P>|t|      [95.0% Conf. Int.]
------------------------------------------------------------------------------
x1             0.2424      0.139      1.739      0.098        -0.049     0.534
x2             0.2360      0.149      1.587      0.129        -0.075     0.547
x3            -0.0618      0.145     -0.427      0.674        -0.365     0.241
const          1.5704      0.633      2.481      0.023         0.245     2.895

==============================================================================
Omnibus:                        6.904   Durbin-Watson:                   1.905
Prob(Omnibus):                  0.032   Jarque-Bera (JB):                4.708
Skew:                          -0.849   Prob(JB):                       0.0950
Kurtosis:                       4.426   Cond. No.                         38.6

pandas この答えで与えられるようにOLSを実行する便利な方法を提供します:

PandasデータフレームでOLS回帰を実行する


18
reg_m機能は不必要に複雑です。x = np.array(x).Tx = sm.add_constant(x)そしてresults = sm.OLS(endog=y, exog=x).fit()十分です。
cd98

1
これは素晴らしいツールです。ただ1つの質問をします。この場合、t値は95.5%の信頼区間の外にあるため、このフィッティングはまったく正確ではないことを意味しますか、またはこれをどのように説明しますか?
Huanian Zhang 2016

2
x1、x2、x3が元の予測子リストで逆の順序になっている、つまりx = [x3、x2、x1]であることに気づきましたか。
sophiadw 2016

@sophiadw x = x[::-1]関数定義内に追加するだけで正しい順序で取得できます
Ashrith

@HuanianZhang "t値"は、係数がゼロから離れている標準偏差の数ですが、95%CIはおよそcoef +- 2 * std err(実際には、残差の自由度によってパラメーター化されたスチューデントt分布)です。つまり、絶対t値が大きいほど、CIがゼロから離れていることを意味しますが、それらを直接比較することはできません。説明は少し遅いですが、誰かに役立つことを願っています
Sam Mason

47

明確にするために、あなたが与えた例は多変量線形回帰参照ではなく、多重線形回帰です。違い

単一のスカラー予測子変数xと単一のスカラー応答変数yの最も単純なケースは、単純線形回帰と呼ばれます。複数またはベクトル値の予測子変数(大文字のXで示される)への拡張は、多重線形回帰とも呼ばれ、多変数線形回帰とも呼ばれます。ほとんどすべての現実世界の回帰モデルには複数の予測子が含まれており、線形回帰の基本的な説明は、多くの場合、多重回帰モデルの観点から表現されています。ただし、これらの場合、応答変数yは依然としてスカラーであることに注意してください。別の用語の多変量線形回帰は、yがベクトル、つまり一般的な線形回帰と同じ場合を指します。

要するに:

  • 複数線形回帰:応答yはスカラーです。
  • 多変量線形回帰:応答yはベクトルです。

(別のソース。)


5
これは役立つ情報かもしれませんが、質問に対する答えがわかりません。
Akavall 2017年

7
正しい用語を使用した@Akavallは、答えを見つけるための最初のステップです。
フランクダーノンコート2017年

1
@FranckDernoncourtしかし、OPのY値はベクトルですか?
常に質問をする

@FranckDernoncourt:「正しい用語を使用することが、答えを見つけるための最初のステップです。すばらしいので、私たち2人は同意できます。これ自体は、実際には答えではありません。ユーザーは、他のリソースを調べる必要なく、回答から直接問題を解決できるはずです
Mac

28

numpy.linalg.lstsqを使用できます。

import numpy as np
y = np.array([-6,-5,-10,-5,-8,-3,-6,-8,-8])
X = np.array([[-4.95,-4.55,-10.96,-1.08,-6.52,-0.81,-7.01,-4.46,-11.54],[-5.87,-4.52,-11.64,-3.36,-7.45,-2.36,-7.33,-7.65,-10.03],[-0.76,-0.71,-0.98,0.75,-0.86,-0.50,-0.33,-0.94,-1.03],[14.73,13.74,15.49,24.72,16.59,22.44,13.93,11.40,18.18],[4.02,4.47,4.18,4.96,4.29,4.81,4.32,4.43,4.28],[0.20,0.16,0.19,0.16,0.10,0.15,0.21,0.16,0.21],[0.45,0.50,0.53,0.60,0.48,0.53,0.50,0.49,0.55]])
X = X.T # transpose so input vectors are along the rows
X = np.c_[X, np.ones(X.shape[0])] # add bias term
beta_hat = np.linalg.lstsq(X,y)[0]
print beta_hat

結果:

[ -0.49104607   0.83271938   0.0860167    0.1326091    6.85681762  22.98163883 -41.08437805 -19.08085066]

あなたは推定出力を見ることができます:

print np.dot(X,beta_hat)

結果:

[ -5.97751163,  -5.06465759, -10.16873217,  -4.96959788,  -7.96356915,  -3.06176313,  -6.01818435,  -7.90878145,  -7.86720264]

print np.dot(X、beta_hat)...とmod_wls = sm.WLS(y、X、weights = weights)res = mod_wls.fit()predsY = res.predict()の違いは何ですか? Yの結果を返す
dd90p

13

を使用しscipy.optimize.curve_fitます。そして、線形フィットだけではありません。

from scipy.optimize import curve_fit
import scipy

def fn(x, a, b, c):
    return a + b*x[0] + c*x[1]

# y(x0,x1) data:
#    x0=0 1 2
# ___________
# x1=0 |0 1 2
# x1=1 |1 2 3
# x1=2 |2 3 4

x = scipy.array([[0,1,2,0,1,2,0,1,2,],[0,0,0,1,1,1,2,2,2]])
y = scipy.array([0,1,2,1,2,3,2,3,4])
popt, pcov = curve_fit(fn, x, y)
print popt

8

データをパンダデータフレームに変換したら(df)、

import statsmodels.formula.api as smf
lm = smf.ols(formula='y ~ x1 + x2 + x3 + x4 + x5 + x6 + x7', data=df).fit()
print(lm.params)

切片の項はデフォルトで含まれています。

その他の例については、このノートブックを参照してください。


このノートブックは素晴らしいです。たった3行のコードでscikit learnを使用して、Yで複数の独立変数(x1、x2、x3 ...)を回帰する方法を示します。
jxn

@canary_in_the_data_mineノートをありがとう。複数の機能を持つ線形回帰をプロットするにはどうすればよいですか?ノートには見つかりませんでした。どんなポインタでも大歓迎です。-ありがとう
Jai Prakash

我々はOLS()にパラメータとしてsmf.add_intercept()を渡すことでインターセプトを追加する必要があるため、それはインターセプトを追加しない
bluedroid

4

これは、この作業を完了する最も簡単な方法であると思います。

from random import random
from pandas import DataFrame
from statsmodels.api import OLS
lr = lambda : [random() for i in range(100)]
x = DataFrame({'x1': lr(), 'x2':lr(), 'x3':lr()})
x['b'] = 1
y = x.x1 + x.x2 * 2 + x.x3 * 3 + 4

print x.head()

         x1        x2        x3  b
0  0.433681  0.946723  0.103422  1
1  0.400423  0.527179  0.131674  1
2  0.992441  0.900678  0.360140  1
3  0.413757  0.099319  0.825181  1
4  0.796491  0.862593  0.193554  1

print y.head()

0    6.637392
1    5.849802
2    7.874218
3    7.087938
4    7.102337
dtype: float64

model = OLS(y, x)
result = model.fit()
print result.summary()

                            OLS Regression Results                            
==============================================================================
Dep. Variable:                      y   R-squared:                       1.000
Model:                            OLS   Adj. R-squared:                  1.000
Method:                 Least Squares   F-statistic:                 5.859e+30
Date:                Wed, 09 Dec 2015   Prob (F-statistic):               0.00
Time:                        15:17:32   Log-Likelihood:                 3224.9
No. Observations:                 100   AIC:                            -6442.
Df Residuals:                      96   BIC:                            -6431.
Df Model:                           3                                         
Covariance Type:            nonrobust                                         
==============================================================================
                 coef    std err          t      P>|t|      [95.0% Conf. Int.]
------------------------------------------------------------------------------
x1             1.0000   8.98e-16   1.11e+15      0.000         1.000     1.000
x2             2.0000   8.28e-16   2.41e+15      0.000         2.000     2.000
x3             3.0000   8.34e-16    3.6e+15      0.000         3.000     3.000
b              4.0000   8.51e-16    4.7e+15      0.000         4.000     4.000
==============================================================================
Omnibus:                        7.675   Durbin-Watson:                   1.614
Prob(Omnibus):                  0.022   Jarque-Bera (JB):                3.118
Skew:                           0.045   Prob(JB):                        0.210
Kurtosis:                       2.140   Cond. No.                         6.89
==============================================================================

4

複数の線形回帰は、上で参照したようにsklearnライブラリを使用して処理できます。私はPython 3.6のAnacondaインストールを使用しています。

次のようにモデルを作成します。

from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X, y)

# display coefficients
print(regressor.coef_)

3

numpy.linalg.lstsqを使用できます


6
これを使用して、多変量回帰の係数をどのように取得できますか?私は単純な回帰を行う方法だけを見て、係数を取得する方法を見ません...
Zach

1

以下の関数を使用して、DataFrameに渡すことができます。

def linear(x, y=None, show=True):
    """
    @param x: pd.DataFrame
    @param y: pd.DataFrame or pd.Series or None
              if None, then use last column of x as y
    @param show: if show regression summary
    """
    import statsmodels.api as sm

    xy = sm.add_constant(x if y is None else pd.concat([x, y], axis=1))
    res = sm.OLS(xy.ix[:, -1], xy.ix[:, :-1], missing='drop').fit()

    if show: print res.summary()
    return res

1

Scikit-learnは、Pythonの機械学習ライブラリであり、この作業を行うことができます。スクリプトにsklearn.linear_modelモジュールをインポートするだけです。

Pythonでsklearnを使用して、多重線形回帰のコードテンプレートを見つけます。

import numpy as np
import matplotlib.pyplot as plt #to plot visualizations
import pandas as pd

# Importing the dataset
df = pd.read_csv(<Your-dataset-path>)
# Assigning feature and target variables
X = df.iloc[:,:-1]
y = df.iloc[:,-1]

# Use label encoders, if you have any categorical variable
from sklearn.preprocessing import LabelEncoder
labelencoder = LabelEncoder()
X['<column-name>'] = labelencoder.fit_transform(X['<column-name>'])

from sklearn.preprocessing import OneHotEncoder
onehotencoder = OneHotEncoder(categorical_features = ['<index-value>'])
X = onehotencoder.fit_transform(X).toarray()

# Avoiding the dummy variable trap
X = X[:,1:] # Usually done by the algorithm itself

#Spliting the data into test and train set
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X,y, random_state = 0, test_size = 0.2)

# Fitting the model
from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, y_train)

# Predicting the test set results
y_pred = regressor.predict(X_test)

それでおしまい。このコードは、任意のデータセットに多重線形回帰を実装するためのテンプレートとして使用できます。例を使用して理解を深めるには、次のWebサイトにアクセスしてください。例を使用した線形回帰


0

ここに代替の基本的な方法があります:

from patsy import dmatrices
import statsmodels.api as sm

y,x = dmatrices("y_data ~ x_1 + x_2 ", data = my_data)
### y_data is the name of the dependent variable in your data ### 
model_fit = sm.OLS(y,x)
results = model_fit.fit()
print(results.summary())

代わりにor やなどをsm.OLS使用することもできます。sm.Logitsm.Probit

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.