Rで計算される多変量直交多項式とは何ですか？

点の単変量セットの直交多項式は、そのドット積とペアワイズ相関がゼロになるように、その点に値を生成する多項式です。Rは関数polyで直交多項式を生成できますます。

同じ関数には、多変量点セットで直交多項式を生成する変種polymがあります。とにかく、結果として得られる多項式は、ペアワイズゼロ相関を持つという意味で直交していません。実際、1次多項式は元の変数にすぎないため、元の変数が無相関でない限り、1次多項式は直交しません。

次に、私の質問は次のとおりです。

• Rのpolymによって計算される多変量直交多項式とは何ですか？それらは単変量直交多項式の単なる積ですか？彼らは何のために使われますか？
• 真の多変量直交多項式は存在できますか？それらを簡単に作成する方法はありますか？Rで？実際に回帰で使用されていますか？

更新

スーパープロンカーのコメントに応えて、無相関多項式で私が意味することの一例を挙げます。

> x<-rnorm(10000)
> cor(cbind(poly(x,degree=3)))
              1             2             3
1  1.000000e+00 -6.809725e-17  2.253577e-18
2 -6.809725e-17  1.000000e+00 -2.765115e-17
3  2.253577e-18 -2.765115e-17  1.000000e+00

Poly関数は、ポイントx（各多項式で10,000ポイント）で評価された直交多項式を返します。異なる多項式の値間の相関はゼロです（数値エラーがあります）。

多変量多項式を使用する場合、相関はゼロとは異なります。

> x<-rnorm(1000)
> y<-rnorm(1000)
> cor(cbind(polym(x,y,degree=2)))
              1.0           2.0           0.1         1.1           0.2
1.0  1.000000e+00  2.351107e-17  2.803716e-02 -0.02838553  3.802363e-02
2.0  2.351107e-17  1.000000e+00 -1.899282e-02  0.10336693 -8.205039e-04
0.1  2.803716e-02 -1.899282e-02  1.000000e+00  0.05426440  5.974827e-17
1.1 -2.838553e-02  1.033669e-01  5.426440e-02  1.00000000  8.415630e-02
0.2  3.802363e-02 -8.205039e-04  5.974827e-17  0.08415630  1.000000e+00

したがって、私はこれらの二変量多項式がどのような意味で直交するのか理解できません。

更新2

最後のスーパープロンカーのコメントのように、回帰で使用される「直交多項式」の意味を明確にしたいのは、接続された間隔で直交多項式からのアイデアを適用すると、このコンテキストが何らかの形で誤解を招く可能性があるためです。

Rページ101および102 を使用したジュリアンJ.ファラウェイの実用回帰とAnovaを引用します。

直交多項式は、

$$z_1=a_1+b_1x$$ $$z_2= a_2+b_2x+c_2x^2$$ $$z_3= a_3+b_3x+c_3x^2+d_3x^3$$ など。係数a、b、c ...は、z T i・z j = 0になるように選択されます。$z_i^T·z_j=0$$i \neq j$場合。zは直交多項式と呼ばれます。

言語のわずかな乱用により、ここで著者は、多項式（関数として）と、多項式が集合xの点で取る値のベクトルの両方に$z_i$使用します。あるいは、本xの冒頭が予測子（予測子によって取得された値のセットなど）であるため、言語の乱用でさえないかもしれません。$x$$x$

直交多項式のこの意味は、実際には区間の直交多項式と違いはありません。通常の方法で（積分を使用して）任意の測定関数で測定可能なセットに対して直交多項式を定義できます。ここで、有限集合（$x$）があり、積分の代わりにドット積を使用していますが、有限集合の点でディラックデルタとして測定関数を使用する場合、それは依然として直交多項式です。

相関関係：$R^n$直交ベクトルのドット積（有限セット上の直交ベクトルの画像として）。2つのベクトルの内積がゼロの場合、共分散はゼロであり、共分散がゼロの場合、相関はゼロです。線形モデルのコンテキストでは、「実験の直交計画」のように、「直交」と「非相関」を関連付けるのに非常に便利です。

何が起こっているのかを調べましょう。次の資料のほとんどを既に知っていると思いますが、表記法と定義を確立し、アイデアを明確にするために、質問に答える前に多項式回帰の基本をカバーします。R必要に応じて、この投稿の約3分の2にある「What does」という見出しにジャンプし、必要に応じて定義をスキップしてください。

設定

ある種の回帰における潜在的な説明変数の$n\times k$モデル行列$\mathbb X$を検討しています。これは、私たちの列のだ思考$\mathbb X$であるとして$n$ -vectors $X_1, X_2, \ldots, X_k$と私たちは、それらの線形結合を形成することになる$\beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k,$応答を予測または推定します。

$X$さまざまな列を互いに係数で乗算することにより作成される追加の列を導入することにより、回帰を改善できる場合があります。そのような製品は「モノミアル」と呼ばれ、次のように書くことができます。

$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$$

ここで、各「パワー​​」$d_i$はゼロ以上で、各$X_1$が製品に現れる回数を表します。$X^0$は定数係数（1）の$n$ベクトルであり、X 1 = Xそのものであることに注意してください。したがって、単項式（ベクトルとして）は、Xの元の列空間を含むベクトル空間を生成します。$1$$X^1=X$$\mathbb X.$ 大きなベクトル空間である可能性があるため、この手順では、線形結合で応答をモデル化するための範囲が広がります。

元のモデル行列$\mathbb X$を単項式のコレクション線形結合で置き換えるつもりです。これらの単項式の少なくとも1つの次数が$1,$を超える場合、これは多項式回帰ます。

多項式のグレーディング

単項式の次数は、その累乗の合計$d_1+d_2+\ldots+d_k.$ 単項式の線形結合の次数（「多項式」）は、非ゼロ係数を持つ単項項の中で最大の次数です。 次数には固有の意味があります。元のベクトル空間の基底を変更すると、各ベクトル$X_i$がすべてのベクトルの線形結合によって新たに表されるためです。単項式$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$これにより、同じ次数の多項式になります。その結果、多項式の次数は変更されません。

次数は、この多項式代数に自然な「グレーディング」を提供します$X$の単項式のすべての線形結合により生成されるベクトル空間は、$d+1,$次数（または次数$d+1$多項式と呼ばれます）$X,$「度までの多項式のベクトル空間拡張$d$で$X.$

多項式回帰の使用

多くの場合、多項式回帰は、最初にどの単項式を含めるかわからないという意味で探索的です。単項式から新しいモデル行列を作成し、回帰を再フィッティングするプロセスを何度も繰り返す必要があるかもしれません。おそらく機械学習の設定によっては天文学的な回数になるかもしれません。

このアプローチの主な問題は

1. 単項式は、主に単一変数のべき乗が高度に共線になる傾向があるため、新しいモデル行列に問題のある量の「多重共線性」を導入することがよくあります。（2つの異なる変数のべき乗の間の共線性は、それらの変数がどのように関連しているかに依存するため、予測不能であり、したがって予測が困難です。）

2. モデルマトリックスの1つの列のみを変更したり、新しい列を導入したり、列を削除したりするには、回帰手順の「コールドリスタート」が必要になることがあり、計算に時間がかかる可能性があります。

多項式代数のグレーディングは、両方の問題を克服する方法を提供します。

1つの変数の直交多項式

与えられた単一の列ベクトル$X,$のために「直交多項式」の組$X$列ベクトルのシーケンスである$p_0(X), p_1(X), p_2(X),\ldots$における単項式の線形結合として形成される$X$のみ-つまり、$X$累乗として- 次のプロパティを持つ：

1. 各次数ため$d=0, 1, 2, \ldots,$ベクトル$p_0(X), p_1(X), \ldots, p_d(X)$と同じベクトル空間を生成する$X^0, X^1, \ldots, X^d.$ （$X^0$は1の$n$ベクトルであり、$X^1$は単なるXであることに注意してください$X$ 自体。）

2. $p_i(X)$相互にある直交する意味で、そのための$i\ne j,$

   $$p_i(X)^\prime p_j(X) = 0.$$

通常、これらの単項式から形成される置換モデル行列

$$\mathbb{P} = \pmatrix{p_0(X) & p_1(X) & \cdots & p_d(X)}$$ は、列を単位長に正規化することにより正規直交するように選択されます： $$\mathbb{P}^\prime \mathbb{P} = \mathbb{I}_{d+1}.$$ $\mathbb{P}^\prime \mathbb{P}$ 逆数はほとんどの回帰式に現れ、単位行列の逆数$\mathbb{I}_{d+1}$ それ自体であり、これは巨大な計算ゲインを表します。

正規直交性は$p_i(X).$ほぼ決定します。 これは構造によって見ることができます：

• 第1の多項式、$p_0(X),$の倍数でなければならない$n$ -ベクトル$\mathbf{1}=(1,1,\ldots,1)^\prime$の単位長さの。選択肢は2つだけです。$\pm \sqrt{1/n}\mathbf{1}.$ 正の平方根を選択するのが慣例です。

• 2番目の多項式$p_1(X),$$\mathbf{1}.$に直交しなければなりません。 これは、回帰することによって得ることができる$X$反対$\mathbf{1},$その溶液の平均値のベクトルであり、X = ˉ X 1。 残差が場合はε = X - X同様にゼロではない、彼らは唯一の2つの解決策与えるP 1（X ）= ±を（1 / | | ε | |$\hat X = \bar{X}\mathbf{1}.$$\epsilon = X - \hat X$$p_1(X) = \pm \left(1/||\epsilon||\right)\,\epsilon.$

...

• 一般的に、$p_{d+1}(X)$は、$X^{d+1}$を$p_0(X), p_1(X), \ldots, p_d(X)$に対して回帰し、残差を単位長さのベクトルに再スケーリングすることにより得られます。残差がすべてゼロではない場合、符号には2つの選択肢があります。それ以外の場合、プロセスは終了します$X.$より高いパワーを調べることは無益です。 （これは素晴らしい定理ですが、その証明はここで私たちの注意をそらす必要はありません。）

これは、ベクトルX 0、X 1、… 、X d、…の固有のシーケンスに適用されるグラムシュミットプロセスです。 通常、QR分解を使用して計算されますが、これはほとんど同じですが、数値的に安定した方法で計算されます。$X^0, X^1, \ldots, X_d, \ldots.$

この構造により、モデルマトリックスに含めることを検討する一連の追加列が生成されます。したがって、通常、1つの変数の多項式回帰は、回帰のさらなる改善が得られなくなるまで、このシーケンスの要素を1つずつ順番に追加することによって進行します。新しい列は以前の列と直交しているため、以前の係数推定値は変更されません。これにより、効率的で容易に解釈可能な手順が作成されます。

複数変数の多項式

探索回帰（およびモデルフィッティング）は、通常、最初にモデルに含める（元の）変数を検討することから始まります。次に、単項式などの変数のさまざまな変換を含めることで、これらの変数を増強できるかどうかを評価します。そして、これらの変数とその再表現の積から形成される「相互作用」を導入します。

そのようなプログラムを実行するには、Xの列に単変量直交多項式を個別に$\mathbb X$形成することから始めます。 各列に適切な次数を選択した後、相互作用を導入します。

この時点で、単変量プログラムの一部が故障します。適切なモデルが特定されるまで、どのような相互作用のシーケンスを1つずつ適用しますか？さらに、多変量解析の領域に真に入った今、利用可能なオプションの数とその複雑さは、多変量直交多項式のシーケンスを構築する際の収益が減少する可能性があることを示唆しています。 ただし、このようなシーケンスを念頭に置いていれば、QR分解を使用して計算できます。

---

何Rん

したがって、多項式回帰用のソフトウェアは、単変量直交多項式シーケンスの計算に焦点を合わせる傾向があります。そのRようなサポートを可能な限り自動的に単変量多項式のグループに拡張することが特徴です。これは何をpolyします。（そのコンパニオンpolymは基本的に同じコードであり、付加機能は少なく、2つの関数は同じことを行います。）

具体的にpolyは、指定された次数d で停止する単一のベクトル$X,$与えられると、単変量直交多項式のシーケンスを計算します。 （dが大きすぎる場合（および大きすぎる大きさを予測することが困難な場合）、残念ながらエラーがスローされます。）行列Xの形式のベクトルX 1、… 、X kのセットが与えられた場合、戻ります$d.$$d$$X_1, \ldots, X_k$$\mathbb X,$

1. 直交多項式の配列$p_1(X_j), p_2(X_j), \ldots, p_d(X_j)$毎に$j$のうち要求された最大次数$d.$ （定数ベクトル$p_0(X_i)$はすべての変数に共通であり、非常に単純であるため（通常、回帰の切片によって調整されRます）、それを含めることはありません。）

2. 次数dまでの直交多項式間のすべての相互作用。$d.$

Step (2) involves several subtleties. Usually by an "interaction" among variables we mean "all possible products," but some of those possible products will have degrees greater than $d.$ For instance, with $2$ variables and $d=2,$ R computes

$$p_1(X_1),\quad p_2(X_1),\quad p_1(X_2),\quad p_1(X_1)p_1(X_2),\quad p_2(X_2).$$

R does not include the higher-degree interactions $p_2(X_1)p_1(X_2),$ $p_1(X_1)p_2(X_2)$ (polynomials of degree 3) or $p_1(X_2)p_2(X_2)$ (a polynomial of degree 4). (This is not a serious limitation because you can readily compute these products yourself or specify them in a regression formula object.)

Another subtlety is that no kind of normalization is applied to any of the multivariate products. In the example, the only such product is $p_1(X_1)p_1(X_2).$ However, there is no guarantee even that its mean will be zero and it almost surely will not have unit norm. In this sense it is a true "interaction" between $p_1(X_1)$ and $p_1(X_2)$ and as such can be interpreted as interactions usually are in a regression model.

An example

Let's look at an example. I have randomly generated a matrix

$$\mathbb{X} = \pmatrix{1 & 3 \\ 5 & 6 \\ 2 & 4}.$$ To make the calculations easier to follow, everything is rounded to two significant figures for display.

The orthonormal polynomial sequence for the first column $X_1 = (1,5,2)^\prime$ begins by normalizing $X_1^0= (1,1,1)^\prime$ to unit length, giving $p_0(X_1) = (1,1,1)^\prime/\sqrt{3} \approx(0.58,0.58,0.58)^\prime.$ The next step includes $X_1^1 = X_1$ itself. To make it orthogonal to $p_0(X_1),$ regress $X_1$ against $p_0(X_1)$ and set $p_1(X_1)$ equal to the residuals of that regression, rescaled to have unit length. The result is the usual standardization of $X_1$ obtained by recentering it and dividing by its standard deviation, $p_1(X_1) = (-0.57,0.79,-0.23)^\prime.$ Finally, $X_1^2 = (1,25,4)$ is regressed against $p_0(X_1)$ and $p_1(X_1)$ and those residuals are rescaled to unit length. We cannot go any further because the powers of $X_1$ cannot generate a vector space of more than $n=3$ dimensions. (We got this far because the minimal polynomial of the coefficients of $X_1,$ namely $(t-1)(t-5)(t-4),$ has degree $3,$ demonstrating that all monomials of degree $3$ or larger are linear combinations of lower powers and those lower powers are linearly independent.)

The resulting matrix representing an orthonormal polynomial sequence for $X_1$ is

$$\mathbb{P_1} = \pmatrix{0.58 & -0.57 & 0.59 \\ 0.58 & 0.79 & 0.20 \\ 0.58 & -0.23 & -0.78}$$

(to two significant figures).

In the same fashion, an orthonormal polynomial matrix for $X_2$ is

$$\mathbb{P_2} = \pmatrix{0.58 & -0.62 & 0.53 \\ 0.58 & 0.77 & 0.27 \\ 0.58 & -0.15 & -0.80}.$$

The interaction term is the product of the middle columns of these matrices, equal to $(0.35, 0.61, 0.035)^\prime.$ The full matrix created by poly or polym, then, is

$$\mathbb{P} = \pmatrix{-0.57 & 0.59 & -0.62 & 0.35 & 0.53 \\ 0.79 & 0.20&0.77& 0.61& 0.27 \\ -0.23 & -0.78 & -0.15 & 0.035 & -0.80}.$$

Notice the sequence in which the columns are laid out: the non-constant orthonormal polynomials for $X_1$ are in columns 1 and 2 while those for $X_2$ are in columns 3 and 5. Thus, the only orthogonality that is guaranteed in this output is between these two pairs of columns. This is reflected in the calculation of $\mathbb{P}^\prime\mathbb{P},$ which will have zeros in positions $(1,2), (2,1), (3,5),$ and $(5,3)$ (shown in red below), *but may be nonzero anywhere else, and will have ones in positions $(1,1), (2,2), (3,3),$ and $(5,5)$ (shown in blue below), but is likely not to have a one in the other diagonal positions ($(4,4)$ in this example). Indeed,

$$\mathbb{P}^\prime\,\mathbb{P} = \pmatrix{\color{blue}{\bf 1} & \color{red}{\bf 0} & 1 & 0.28 & 0.091 \\ \color{red}{\bf 0} & \color{blue}{\bf 1} & -0.091 & 0.3 & 1 \\ 1 & -0.091 & \color{blue}{\bf 1} & 0.25 & \color{red}{\bf 0} \\ 0.28 & 0.3 & 0.25 & 0.5 & 0.32 \\ 0.091 & 1 & \color{red}{\bf 0} & 0.32 & \color{blue}{\bf 1}}.$$

When you inspect the $\mathbb P$ matrix shown in the question, and recognize that multiples of $10^{-17}$ are really zeros, you will observe that this pattern of zeros in the red positions holds. This is the sense in which those bivariate polynomials are "orthogonal."