Pythonの多変量線形回帰

多変量線形回帰を実装するPythonパッケージを探しています。

（用語の注記：多変量回帰は複数の従属変数がある場合を扱い、多重回帰は1つの従属変数があるが複数の独立変数がある場合を扱います。）

sklearn.linear_model.LinearRegressionを引き続き使用できます。y従属変数と同じ数の列を持つ行列を出力にしてください。非線形のものが必要な場合は、さまざまな基底関数を試したり、多項式機能を使用したり、回帰に別の方法（NNなど）を使用したりできます。

ちょうど楽しみのために、タプルを形成することにより、手動で機能を計算できます $seq =(d_1,...,d_N)$ そのような $Sum(seq) = \sum^N_{i=1} \leq D$。これらのタプルを形成すると、各エントリは、現在の未加工の機能を引き上げる力を示します。だから、言って$(1,2,3)$ 単項式にマッピングされます $x_1 x_2^2 x_3^3$。

タプルを取得するコードは次のとおりです。

def generate_all_tuples_for_monomials(N,D):
    if D == 0:
        seq0 = N*[0]
        sequences_degree_0 = [seq0]
        S_0 = {0:sequences_degree_0}
        return S_0
    else:
        # S_all = [ k->S_D ] ~ [ k->[seq0,...,seqK]]
        S_all = generate_all_tuples_for_monomials(N,D-1)# S^* = (S^*_D-1) U S_D
        print(S_all)
        #
        S_D_current = []
        # for every prev set of degree tuples
        #for d in range(len(S_all.items())): # d \in [0,...,D_current]
        d = D-1
        d_new = D - d # get new valid degree number
        # for each sequences, create the new valid degree tuple
        S_all_seq_for_deg_d = S_all[d]
        for seq in S_all[d]:
            for pos in range(N):
                seq_new = seq[:]
                seq_new[pos] = seq_new[pos] + d_new # seq elements dd to D
                if seq_new not in S_D_current:
                    S_D_current.append(seq_new)
        S_all[D] = S_D_current
        return S_all

そうすれば、線形代数を知っていれば簡単に回帰できます。

c = pseudo_inverse(X_poly)*y

例。おそらく、一般化に関心がある場合は、正則化線形回帰を行う方が良いでしょう。

Yuvalへの謝辞は、支援のためのCS交換です。