「バニラ」とはどういう意味ですか？

機械学習のブログでは、「バニラ」という言葉に頻繁に出会います。たとえば、「バニラグラディエントディセント」や「バニラメソッド」などです。この用語は、最適化の教科書では文字通り見られません。

たとえば、この投稿では、次のように述べています。

これは、勾配降下法の最も単純な形式です。ここで、バニラとは、純粋な/不純物のないものを意味します。その主な特徴は、コスト関数の勾配をとることにより、最小値の方向に小さなステップを踏むことです。

この文脈で「姦淫」は何を意味するのでしょうか。著者は、バニラ勾配降下と運動量を伴う勾配降下を対比することでさらに進んでいます。したがって、この場合、バニラ勾配降下法は勾配降下法の別の言葉です。

別の投稿では、

バニラ勾配降下、別名バッチ勾配降下、...

悲しいことに、バッチ勾配降下法について聞いたことがありません。ああ少年。

誰かが「バニラ」の意味を明確にできますか、そしてそれに対してより確固たる数学的な定義があるかどうか。

バニラとは、何かの標準、通常、または変更されていないバージョンを意味します。バニラ勾配降下法は、ベルやホイッスルのない基本的な勾配降下アルゴリズムを意味します。

勾配降下には多くのバリアントがあります。通常の勾配降下法（バッチ勾配降下法またはバニラ勾配降下法とも呼ばれます）では、勾配は各データポイントの勾配の平均として計算されます。

$$\nabla f = \frac{1}{n}\sum_i \nabla \text{loss}(x_i)$$

バッチサイズが1の確率的勾配降下法では、勾配を次のように推定します。

$$\nabla f \approx \nabla \text{loss}(x^*)$$ 、 どこ $x^*$データセット全体からランダムにサンプリングされます。これは通常の勾配降下法のバリアントであるため、バニラ勾配降下法ではありません。ただし、確率的勾配降下法にも多くのバリアントがあるため、他のより洗練されたSGDの選択肢、たとえば運動量を伴うSGDと比較するとき、これを「バニラ確率勾配降下法」と呼ぶかもしれません。