高度に非線形な関数をフィッティングするための戦略

生物物理学実験からのデータを分析するために、現在、高度に非線形なモデルを使用して曲線近似を試みています。モデル関数は基本的に次のようになります。

$y = ax + bx^{-1/2}$

ここで、特にの値は非常に興味深いものです。 $b$

この関数のプロット：

関数プロット

（モデル関数はシステムの完全な数学的記述に基づいており、非常にうまく機能するように思われることに注意してください-自動適合はトリッキーなだけです）。

もちろん、モデル関数には問題があります。これまで試したフィッティング戦略は、特にノイズの多いデータの場合、での鋭い漸近線のため失敗します。 $x=0$

ここでの問題の私の理解は、xの小さな誤差が非常に増幅されるため、単純な最小二乗近似（MATLABで線形回帰と非線形回帰の両方を試しました;主にLevenberg-Marquardt）は垂直漸近線に非常に敏感です。。

誰かがこれを回避できる適切な戦略を教えてもらえますか？

統計に関する基本的な知識はある程度持っていますが、それでもかなり限られています。どこから探し始めればいいのか分からないなら、私は学びたいと思っています:)

アドバイスありがとうございます！

編集は、エラーを言及するのを忘れるためにあなたの許しを物乞い。唯一の重要なノイズはにあり、それは加法的です。 $x$

編集2この質問の背景に関する追加情報。上記のグラフは、ポリマーの伸縮挙動をモデル化しています。@whuberがコメントで指摘したように、上記のようなグラフを取得するにが必要です。 $b \approx -200 a$

人々がこの曲線をこの点までどのように当てはめているかについて：人々は一般に、彼らが良い適合を見つけるまで垂直漸近線を切り取っているようです。ただし、カットオフの選択は依然として任意であり、フィッティング手順の信頼性と再現性が失われます。

3＆4固定グラフを編集します。

curve-fitting nonlinear

— onnodb
ソース

エラーは

または

またはその両方に発生しますか？どのような形でノイズが入ると予想されますか（乗法、加法など）？

x

$x$

y

$y$

— 確率論的

@onnodb：私の懸念は、これはあなたのモデル自体がどれほど堅牢であるかという根本的な疑問ではないでしょうか？あなたが使う戦略をフィッティングすることはないであろうものをどんなに

高感度のまま？このような

推定値に高い信頼性はありますか？

b

$b$

b

$b$

— curious_cat

残念ながら、それはまだ機能しません。単にのない可能な組み合わせはありませんし、

にも質的にあなたが描いたグラフを再現します。（明らかに

負である少ないいる狭い間隔に入れ、それを少なくともグラフの傾き、まだ正、以下でなければなりません。しかし、時にその間隔である、それは単にで巨大な負のスパイクを克服するために十分な大きさではありません導入され、原点

期を。）あなたは何を描きましたか？データ？他の機能はありますか？

a

$a$

b

$b$

b

$b$

a

$a$

a

$a$

b x^{1 / 2}

$b x^{1/2}$

— whuber

感謝しますが、まだ間違っています。後方このグラフの接線に延びる任意の点

ここで

、あなたのY軸を遮るであろう

。

の下向きのスパイクは

示すため

(x, a x + b x^{1 / 2})

$(x,ax+bx^{1/2})$

x > 0

$x\gt 0$

(0, 3 b / (2 x^{1 / 2}))

$(0,3b/(2x^{1/2}))$

0

$0$

b

$b$ 負の場合、このy切片も負でなければなりません。しかし、あなたの図では、そのようなインターセプトのほとんどが正であり、

まで及ぶことは非常に明確です。したがって、式のようにすることを数学的に不可能であり、、あなたの曲線を記述することができ、いなくても約。最低でも、あなたのような何かにフィットする必要があり

。

15.5

$15.5$ $y=ax + bx^{1/2}$

y = a x + b x^{1 / 2} + c

$y=ax+bx^{1/2}+c$

— whuber

この作業を行う前に、質問のステートメントを確認したかったのです。そのため、関数を正しく取得することが重要です。私は今、完全な答えをする時間はありませんが、「他の人」が間違っているかもしれないことに注意したいのですが、それは悲しいことに、さらに詳細に依存しています。あなたの場合は

エラーが真にされる添加剤、それは私には思えるそれ以外の小さな値でその分散のために、それはまだ、強く異分散にする必要があり

本当に小さなだろう。そのエラーについて、定量的に何を伝えることができますか？

x

$x$

x

$x$

— whuber

回答:

これを手動で（つまり、探索的データ分析の）当てはめるために使用する方法は、そのようなデータで非常にうまく機能します。

パラメーターを正にするために、モデルのパラメーターを少し変更します。

y = a x - b / \sqrt{x} .

$y = a x - b / \sqrt{x}.$

与えられたに対して、この方程式を満たす一意の実数があると仮定しましょう。これをと呼ぶか、簡潔にするために、が理解されると呼び出します。 $y$ $x$ $f(y; a,b)$ $f(y)$ $(a,b)$

順序付けられたペア集合を観察します。ここで、平均がゼロの独立したランダム変量によってから逸脱します。この議論では、それらはすべて共通の分散を持っていると仮定しますが、これらの結果の拡張（重み付き最小二乗を使用）は可能であり、明白で、実装が容易です。ここで、このようなA型のコレクションのシミュレートされた例であるとの値、、、及び共通の分散 $(x_i, y_i)$ $x_i$ $f(y_i; a,b)$ $100$ $a=0.0001$ $b=0.1$ 。 $\sigma^2=4$

データプロット

これは（故意に）厳しい例です。非物理的な（負の）値とその並外れた広がり（通常は水平単位ですが、軸上で最大または範囲）によって理解できるように。我々はどこにも近い推定に来て、これらのデータに程よいフィット感を得ることができた場合は、、そしてを使用、私たちは本当によくやっています。 $x$ $\pm 2$ $5$ $6$ $x$ $a$ $b$ $\sigma^2$

探索的フィッティングは反復的です。 各ステージは、2つのステップからなる：推定（データと以前の推定値に基づいて、及びのと前の予測値は、そこから、得ることができる、次いで、推定）。エラーはxにあるため、近似はからを推定します。のエラーを最初には、 $a$ $\hat{a}$ $\hat{b}$ $a$ $b$ $\hat{x}_i$ $x_i$ $b$ $x_i$ $(y_i)$ $x$ $x$ 十分に大きい

x_{i} \approx \frac{1}{a} (y_{i} + \frac{\hat{b}}{\sqrt{{\hat{x}}_{i}}}) .

$x_i \approx \frac{1}{a}\left(y_i + \frac{\hat{b}}{\sqrt{\hat{x}_i}}\right).$

したがって、我々は、更新してもよい- （傾き、それだけで一つのパラメータ有する通知最小二乗法を使用してこのモデルを当てはめることによっての更新推定値として係数の逆数をとる--andない切片）。 $\hat{a}$ $a$ $a$

次に、が十分に小さい場合、逆2次項が支配的であり、（再びエラーの1次） $x$

x_{i} \approx b^{2} \frac{1 - 2 \hat{a} \hat{b} {\hat{x}}^{3 / 2}}{y_{i}^{2}} .

$x_i \approx b^2\frac{1 - 2 \hat{a} \hat{b} \hat{x}^{3/2}}{y_i^2}.$

もう一度（だけ傾斜用語で最小二乗を用いて我々は、更新推定得る）嵌合傾きの平方根を介し。 $b$ $\hat{b}$

この作品は、理由はこのフィットの粗探索近似プロットすることによって得られるに対して小さいため。さらに良いことに、は誤差を伴って測定され、はとともに単調に変化するため、値が大きいデータに注目する必要があります。ここに、最大の半分を示すシミュレーションデータセットの例を示します $x_i$ $1/y_i^2$ $x_i$ $x_i$ $y_i$ $x_i$ $1/y_i^2$ $y_i$ 赤で、青で最小の半分、および原点を通る線が赤のポイントに適合します。

と小さい値には少し曲率がありますが、点はほぼ並んでいます。（軸の選択に注意してください：は測定値であるため、垂直軸にプロットするのが一般的です。）曲率が最小になる赤い点にフィットすることにより、合理的な推定値を取得する必要があります。タイトルに表示されるの値は、この線の勾配の平方根です。これは、真の値よりもわずか％少ないだけです！ $x$ $y$ $x$ $b$ $0.096$ $4$

この時点で、予測値は次の方法で更新できます

{\hat{x}}_{i} = f (y_{i}; \hat{a}, \hat{b}) .

$\hat{x}_i = f(y_i; \hat{a}, \hat{b}).$

反復推定値は、（まだ保証できない）値の小さい範囲を通してサイクルを安定させる（保証されていない）、またはそれらのいずれかまで。

これは、ことが判明し、我々は非常に大きな値の良いセット持っていない限り推定することは困難である、それ（問題の）オリジナルのプロットの垂直漸近線を決定し、question--の焦点である--which 垂直漸近線内にデータがある場合は、非常に正確に固定できます。我々の実行例では、反復は、に収束行う（ほぼ倍正しい値であると）の正しい値に近い（ $a$ $x$ $b$ $\hat{a} = 0.000196$ $0.0001$ $\hat{b} = 0.1073$ $0.1$ ）。このプロットはデータをもう一度表示し、その上に（a）真の曲線が灰色（破線）で、（b）推定曲線が赤（実線）で重ねられています：

Fits

この適合は非常に良好であるため、実際の曲線と適合曲線とを区別することは困難です。ちなみに、推定誤差分散は、真の値に非常に近い値です。 $3.73$ $4$

このアプローチにはいくつかの問題があります。

推定値は偏っています。バイアスは、データセットが小さく、x軸に近い値が比較的少ないときに明らかになります。フィットは体系的に少し低くなっています。
推定手順には、「小さい」値から「大きい」値を伝える方法が必要です。最適な定義を特定するための探索的な方法を提案することもできますが、実際問題として、これらを「調整」定数のままにして、結果の感度を確認するために変更することができます。の値に従ってデータを3つの等しいグループに分割し、2つの外側のグループを使用して、任意に設定しました。 $y_i$ $y_i$
手順は、すべての可能な組み合わせのために動作しませんし、またはデータのすべての可能な範囲。ただし、両方の漸近線を反映するのに十分な曲線がデータセットで表されるときはいつでもうまく機能するはずです：一端の垂直のものと他端の傾斜したもの。 $a$ $b$

コード

以下はMathematicaで書かれています。

estimate[{a_, b_, xHat_}, {x_, y_}] := 
  Module[{n = Length[x], k0, k1, yLarge, xLarge, xHatLarge, ySmall, 
    xSmall, xHatSmall, a1, b1, xHat1, u, fr},
   fr[y_, {a_, b_}] := Root[-b^2 + y^2 #1 - 2 a y #1^2 + a^2 #1^3 &, 1];
   k0 = Floor[1 n/3]; k1 = Ceiling[2 n/3];(* The tuning constants *)
   yLarge = y[[k1 + 1 ;;]]; xLarge = x[[k1 + 1 ;;]]; xHatLarge = xHat[[k1 + 1 ;;]];
   ySmall = y[[;; k0]]; xSmall = x[[;; k0]]; xHatSmall = xHat[[;; k0]];
   a1 = 1/
     Last[LinearModelFit[{yLarge + b/Sqrt[xHatLarge], 
          xLarge}\[Transpose], u, u]["BestFitParameters"]];
   b1 = Sqrt[
     Last[LinearModelFit[{(1 - 2 a1 b  xHatSmall^(3/2)) / ySmall^2, 
          xSmall}\[Transpose], u, u]["BestFitParameters"]]];
   xHat1 = fr[#, {a1, b1}] & /@ y;
   {a1, b1, xHat1}
   ];

（パラレルベクトルによって与えられたデータにこれを適用するxと、y2列の行列に形成さdata = {x,y}の推定値で始まる、収束するまで）： $a=b=0$

{a, b, xHat} = NestWhile[estimate[##, data] &, {0, 0, data[[1]]}, 
                Norm[Most[#1] - Most[#2]] >= 0.001 &,  2, 100]

— ウーバー
ソース

これは驚くべき答えです。本当にうれしいです！私はこれで遊んでいますが、結果は非常に有望に見えます。ただし、理由を完全に理解するにはもう少し時間が必要です。:)また、確認に関する追加の（プライベート）質問について、あなたのWebサイトから連絡できますか？

— onnodb

@probabilityislogicが投稿した重要な質問をご覧ください

あなたが唯一のyの誤差を持っている、と彼らだ添加し、一定の分散（つまり、あなたの仮定は、あなたがやったように聞こえる何フィット）を持っている場合は、許可すれば、重み付き線形フィットを試すことができます $y^* = y\sqrt{x}$ $y^*$ 上の重みは、その後に比例することになる、 ...（はい、これは単に周りの問題をシフトされる可能性がありますので、まだ問題があるかもしれませんが、少なくともこの問題の変換で正規化する方が簡単だとわかるはずです）。 $x^* = x^{3/2}$ $1/x$

この操作では、が新しい方程式の切片になることに注意してください $b$

分散がすでに一定でない場合、エラーが加法的でない場合、またはにエラーがある場合、これは状況を変えます。 $x$

編集して追加情報を検討します。

次の形式のモデルに到達しました： $y^* = b + a x^*$

これで、エラーがxおよび加法的であることがわかりました。そのスケールで分散が一定であるかどうかはまだわかりません。

として書き換えます $x^* = y^*/a - b/a = m y^* + c$

してみましょう、この誤差項はheteroskedasticであってもよい、（元の場合は一定の広がりを有し、それはheteroskedasticことが、知られている形式の意志） $x_o^* = x^* + \eta$ $x$

（どこ $o$ $x_o^*$

$x^*_o = c + m y^* + \epsilon$ $\epsilon = -\zeta$ $x$ $y$

それが物事を改善するかどうかはわかりません！私はそのようなことには方法があると信じていますが、それは本当に私の領域ではありません。

コメントの中で、逆回帰を見てみたいと思うかもしれないが、関数の特定の形式がそれをうまく行かないかもしれないと言った。

その線形形式でかなりロバストなerror-in-xメソッドを試してみることさえあります。

$y$

$x$

— Glen_b -Reinstate Monica
ソース

x

$x$

「たとえエラーがxにあるとしても」-それは重要です。逆回帰を確認することもできます。

— Glen_b-モニカを復活させる

...またはモデル直接適合させることができます

x = \frac{1}{3} (\frac{2 y}{a} + \frac{2^{1 / 3} y^{2}}{{(27 a^{4} b^{2} - 2 a^{3} y^{3} + 3 \sqrt{3} \sqrt{27 a^{8} b^{4} - 4 a^{7} b^{2} y^{3}})}^{1 / 3}} + \frac{{(27 a^{4} b^{2} - 2 a^{3} y^{3} + 3 \sqrt{3} \sqrt{27 a^{8} b^{4} - 4 a^{7} b^{2} y^{3}})}^{1 / 3}}{2^{1 / 3} a^{2}})

$x = \frac{1}{3} \left(\frac{2 y}{a}+\frac{2^{1/3} y^2}{\left(27 a^4 b^2-2 a^3 y^3+3 \sqrt{3} \sqrt{27 a^8 b^4-4 a^7 b^2 y^3}\right)^{1/3}}+\frac{\left(27 a^4 b^2-2 a^3 y^3+3 \sqrt{3} \sqrt{27 a^8 b^4-4 a^7 b^2 y^3}\right)^{1/3}}{2^{1/3} a^2}\right)$ :-).

— whuber

@whuber Hmm. Solving for the cubic, clever. If we write the original in terms of

x_{o}

$x_o$ where

x_{o}

$x_o$ is

x + ζ

$x + \zeta$ , this would leave us with

x = (t h a t m o n s t e r) + ϵ

$x = (\rm{that\,\, monster}) + \epsilon\,$ , (again with

ϵ = - ζ

$\epsilon = -\zeta$ ) which at least notionally can be done with nonlinear least squares. So that looks like it takes care of the error propagation properly. It might actually work if the OP was to use the linear form I was playing with (using some robust-to-errors-in-the-IV-and-hetero estimation) to get good starting values for the parameters and then try to use this nonlinear LS form to polish it.

— Glen_b -Reinstate Monica

I believe linearizing the function

x (y)

$x(y)$ and (ironically) applying nonlinear (weighted) least squares would work, especially if the data were restricted to relatively small values of

y

$y$ where the curve is primarily determined by

b

$b$ .

— whuber

After some more weeks of experimenting, a different technique seems to work the best in this particular case: Total Least Squares fitting. It's a variant of the usual (nonlinear) Least Squares fitting, but instead of measuring fit errors along just one of the axes (which causes problems in highly nonlinear cases such as this one), it takes both axes into account.

There's a plethora of articles, tutorials and books avaiable on the subject, although the nonlinear case is more elusive. There's even some MATLAB code available.

— onnodb
ソース

Thanks for sharing this. I accept that it it might produce good-looking results in your case, but I have two concerns. The first you mention: how exactly does one apply total least squares/errors-in-variables regression/orthogonal regression/Deming regression to nonlinear fits? The second is that this approach does not seem appropriate for your data, in which

y

$y$ is measured essentially without error. When that's the case, you should not be allowing for residuals in the

y

$y$ variable and doing so ought to produce unreliable, biased results.

— whuber

@whuber Thanks for expressing your concerns! Right now, I'm still working on running simulations to probe the reliability of TLS fitting for this problem. What I've seen thus far, though, is that TLS' consideration of both variables helps greatly in overcoming the high non-linearity of the model. Fits of simulated data are reliable and converge very well. More work needs to be done though, and I'll definitely have to stack your method up to this one, once we have more actual data available --- and look in detail into your concerns.

— onnodb

OK--don't forget I have comparable concerns about the method I proposed!

— whuber