反復的に再重み付けされた最小二乗の定義と収束
次の形式の関数を最小化するために、反復的に再重み付けされた最小二乗（IRLS）を使用しています。 J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) ここで、はのインスタンスの数、は必要な堅牢な推定値、は適切な堅牢なペナルティ関数です。今は凸であり（必ずしも厳密ではないが）微分可能であるとしましょう。そのような良い例は、フーバー損失関数です。NNNxi∈Rxi∈Rx_i \in \mathbb{R}m∈Rm∈Rm \in \mathbb{R}ρρ\rhoρρ\rho 私がやってきたことは、をに関して微分し（そして操作して）、J(m)J(m)J(m)mmm dJdm=∑Ni=1ρ′(|xi−m|)|xi−m|(xi−m)dJdm=∑i=1Nρ′(|xi−m|)|xi−m|(xi−m)\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right) 0に設定し、繰り返し重みを（x_i = m {（k）}で知覚される特異点は、気になるすべての\ rhoで実際に除去可能な特異点であることに注意してください）。その後、私は取得し、kkkwi(k)=ρ′(|xi−m(k)|)|xi−m(k)|wi(k)=ρ′(|xi−m(k)|)|xi−m(k)|w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}xi=m(k)xi=m(k)x_i=m{(k)}ρρ\rho ∑Ni=1wi(k)(xi−m(k+1))=0∑i=1Nwi(k)(xi−m(k+1))=0\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0 そして解くと、m(k+1)=∑Ni=1wi(k)xi∑Ni=1wi(k)m(k+1)=∑i=1Nwi(k)xi∑i=1Nwi(k)m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}。 「収束」までこの固定小数点アルゴリズムを繰り返します。微分が0で凸関数であるため、固定小数点に到達する場合は最適であることに注意してください。 この手順について2つの質問があります。 これは標準のIRLSアルゴリズムですか？このトピックに関するいくつかの論文を読んだ後（そしてそれらは非常に散らばっていて、IRLSとは曖昧でした）、これは私が見つけることができるアルゴリズムの最も一貫した定義です。人々が望むなら、私は論文を投稿することができます、しかし、私は実際にここで誰にも偏りたくありませんでした。もちろん、この基本的な手法は、ベクトルxixix_iと\ left | …