勾配降下法で固定ステップサイズを使用すると、ステップが小さくなるのはなぜですか？

一定のステップサイズα = 0.03を使用して、2次関数最小化して、勾配が適切なおもちゃの例を実行するとします。（A = [ 10 、2 、2 、3 ]）$x^TAx$$\alpha=0.03$$A=[10, 2; 2, 3]$

各反復でのトレースをプロットすると、次の図が得られます。固定ステップサイズを使用すると、ポイントが「非常に密」になるのはなぜですか。直感的には、固定ステップサイズではなく、減少ステップサイズのように見えます。$x$

---

PS：Rコードにはプロットが含まれます。

A=rbind(c(10,2),c(2,3))
f <-function(x){
  v=t(x) %*% A %*% x
  as.numeric(v)
}
gr <-function(x){
  v = 2* A %*% x
  as.numeric(v)
}

x1=seq(-2,2,0.02)
x2=seq(-2,2,0.02)
df=expand.grid(x1=x1,x2=x2)
contour(x1,x2,matrix(apply(df, 1, f),ncol=sqrt(nrow(df))), labcex = 1.5, 
        levels=c(1,3,5,10,20,40))
grid()

opt_v=0
alpha=3e-2
x_trace=c(-2,-2)
x=c(-2,-2)
while(abs(f(x)-opt_v)>1e-6){
  x=x-alpha*gr(x)
  x_trace=rbind(x_trace,x)
}
points(x_trace, type='b', pch= ".", lwd=3, col="red")
text(x_trace, as.character(1:nrow(x_trace)), col="red")

$f(x) = \frac 12 x^T A x$$A$$\nabla f(x) = Ax$$A$$A = Q\Lambda Q^T$$y =Q^T x$

$$f(y) = \frac 12 y^T \Lambda y \implies \nabla f(y) = \Lambda y.$$

$\Lambda$

$$y^{(n+1)} = y^{(n)} - \alpha \Lambda y^{(n)} = (I - \alpha \Lambda)y^{(n)} = (I - \alpha \Lambda)^{n+1}y^{(0)}.$$

$1 - \alpha \lambda_i$$|1 - \alpha \lambda_i| < 1$

$$\Lambda \approx \left(\begin{array}{cc} 10.5 & 0 \\ 0 & 2.5\end{array}\right)$$ $$I - \alpha \Lambda \approx \left(\begin{array}{cc} 0.89 & 0 \\ 0 & 0.98\end{array}\right).$$

$\lambda \approx 10.5$$0.98$$1$$\alpha$$(0.98)^n$$\alpha$

これについてのより良い、より徹底的な議論のために、私はhttps://distill.pub/2017/momentum/を強くお勧めします。

$\nabla f=0$

$\alpha \nabla f$$|\nabla f|$$|\Delta f|\rightarrow 0$$f(x)=x$$\alpha$$f(x,y)=x+y^2$$x$