指数モデルの推定

10

指数モデルは、次の方程式で表されるモデルです：

\hat{y_{i}} = β_{0} \cdot e^{β_{1} x_{1 i} + \dots + β_{k} x_{k i}}

$\hat{y_{i}}=\beta_{0}\cdot e^{\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}}$

このようなモデルを推定するために使用される最も一般的なアプローチは線形化です。これは、両側の対数を計算することで簡単に実行できます。他のアプローチは何ですか？いくつかの観測でを処理できるものに特に興味があります。 $y_{i}=0$

更新31.01.2011
このモデルはゼロを生成できないという事実を知っています。私がモデリングしているものと、このモデルを選択する理由について少し詳しく説明します。クライアントが店でいくらお金を使うかを予測したいとしましょう。もちろん、多くのクライアントは見ているだけで何も購入していません。そのため、0が存在します。線形モデルを使用したくありませんでした。負の値が多くなり、意味がありません。もう1つの理由は、このモデルが非常に優れており、線形よりもはるかに優れていることです。遺伝的アルゴリズムを使用してこれらのパラメーターを推定したので、「科学的」なアプローチではありませんでした。もっと科学的な方法で問題に対処する方法を知りたいのですが。変数のほとんどまたはすべてがバイナリ変数であると仮定することもできます。

estimation nonlinear-regression

— トメック・タルチンスキ
ソース

1

データにゼロがある場合、モデルはゼロ値を観測できないため、指数回帰は適切ではない可能性があります。

— mpiktas 2011年

11

ここにはいくつかの問題があります。

（1）モデルは明示的に確率的である必要があります。ほとんどすべての場合、lhsがすべてのデータのrhsと一致するパラメーターのセットはありません。残差があります。これらの残差について仮定を行う必要があります。あなたはそれらが平均してゼロになることを期待していますか？対称的に分散するには？ほぼ正規分布するか？

指定されたモデルと一致するが、大幅に異なる残差動作を許可する2つのモデルを次に示します（したがって、通常は異なるパラメーター推定が発生します）。分布に関する仮定を変えることにより、これらのモデルを変えることができます。 $\epsilon_{i}$

A: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i} + ϵ_{i})

$\text{A:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki} + \epsilon_{i}\right)}$

B: y_{i} = β_{0} \exp (β_{1} x_{1 i} + \dots + β_{k} x_{k i}) + ϵ_{i} .

$\text{B:}\ y_{i} =\beta_{0} \exp{\left(\beta_{1}x_{1i}+\ldots+\beta_{k}x_{ki}\right)} + \epsilon_{i}.$

（これらはデータ モデルであることに注意してください。通常、推定データ値のようなものはありません。） $y_i$ $\hat{y_i}$

（2）yのゼロ値を処理する必要性は、ランダムエラーがどのようなものであってもゼロ値を生成できないため、上記のモデル（A）が誤っており、不十分であることを意味します。上記の2番目のモデル（B）では、yの値がゼロ（または負の値）になる場合があります。ただし、そのような理由だけでモデルを選択するべきではありません。＃1を繰り返しますが、エラーを適切にモデル化することが重要です。

（3）線形化はモデルを変更します。通常、（A）のようなモデルになりますが、（B）のようなモデルにはなりません。これは、この変更がパラメータ推定にそれほど影響を与えないことを知るのに十分なほどデータを分析した人や、何が起こっているかを知らない人が使用します。（違いを見分けるのは、何度も困難です。）

（4）ゼロ値の可能性を処理する一般的な方法は、（または平方根などのその再表現）が厳密に正のゼロの確率を持つことを提案することです。数学的には、点の質量（「デルタ関数」）を他の分布と混合しています。これらのモデルは次のようになります。 $y$

\begin{aligned} f (y_{i}) & \sim F (θ); \\ θ_{j} & = β_{j 0} + β_{j 1} x_{1 i} + \dots + β_{j k} x_{k i} \end{aligned}

$\eqalign{ f(y_i) &\sim F(\mathbf{\theta}); \cr \theta_j &= \beta_{j0} + \beta_{j1} x_{1i} + \cdots + \beta_{jk} x_{ki} }$

ここで、は、ベクトルに暗黙的に含まれるパラメーターの1つであり、はパラメーター化された分布のファミリーです、およびの再発現であるさん（：ワンストップの回答を参照してください一般化線形モデルの『リンク』機能）。（もちろん、次に、 = when）例は、ゼロ膨張のポアソンモデルと負の二項モデル。 $\Pr_{F_\theta}[f(Y) = 0] = \theta_{j+1} \gt 0$ $\mathbf{\theta}$ $F$ $\theta_1, \ldots, \theta_j$ $f$ $y$ $\Pr_{F_\theta}[f(Y) \le t]$ $(1 - \theta_{j+1})F_\theta(t)$ $t \ne 0$

（5）モデルの構築とフィッティングの問題は関連していますが異なります。簡単な例として、通常の回帰モデルでも、最小二乗法を使用してさまざまな方法で近似できます（これにより、最尤法と同じパラメーター推定値とほぼ同じ標準誤差が得られます）。繰り返し最小二乗再重み付け、他の様々な形の「強固な最小二乗法を、」などフィッティングの選択は、多くの場合、利便性、便宜に基づいている（例えば、ソフトウェアの利用可能性）、親しみやすさ、習慣、または慣例が、少なくともいくつかの考えはする必要がありますエラー項仮定された分布に適切なものに与えられ、 $Y = \beta_0 + \beta_1 X + \epsilon$ $\epsilon_i$ 問題の損失関数は合理的であり、追加情報（パラメーターの事前分布など）を悪用する可能性があります。

— whuber
ソース

10

これは、対数リンク関数を備えた一般化線形モデル（GLM）です。

確率分布がゼロで密度がゼロでない場合、一部の観測ではを処理します。最も一般的なのはポアソン分布で、ポアソン回帰、つまり対数線形モデリングになります。別の選択肢は、負の二項分布です。 $[0,\infty)$ $y_i=0$

カウントデータがない場合、またはが非整数値を取る場合でも、分布を完全に指定しなくても、一般化線形モデルのフレームワークを使用できますが、代わりに準尤度を使用して、平均と分散の関係のみを指定します。 $y_i$ $\operatorname{P}(y_i|\bf{x})$

— ワンストップ
ソース

残念なことに、私は大学でそれについて教えられていませんでした：/この場合に役立つと思われますが、詳細に入るには少し時間が必要です。ありがとう！

— Tomek Tarczynski、2011年

は、それが合理的である場合は常に整数値に再スケーリングできることに注意してください。たとえば、ポンド/ドルではなくペンス/セントを測定します。とにかく、商品の価格のペンス/セントの部分の分布は非常に不均一になる可能性が高いため（つまり、ほとんどが99）、最も近いポンド/ドルに丸めたい場合があります。

y_{i}

$y_i$

— ジェームズ

3

常に非線形最小二乗法を使用できます。次に、モデルは次のようになります。

y_{i} = β_{0} \exp (β_{1} x_{1 i} + . . . + β_{k} x_{k i}) + ε_{i}

$y_i=\beta_0\exp(\beta_1x_{1i}+...+\beta_kx_{ki})+\varepsilon_i$

のゼロは、非線形トレンドからの偏差として扱われます。 $y_i$

— mpiktas
ソース

パラメータの初期値はどうですか？それらを選択する良い方法は何ですか？更新で述べたように、連続変数がないと想定される場合があります。

— Tomek Tarczynski、2011年

@Tomek、私はそれらを選ぶ良い方法は一つないと思います。通常はデータによって異なります。切片の平均と他の係数のゼロをお勧めします。

— mpiktas 2011年