MLRモデルをモデルと比較する

データに次のような異常な方程式が当てはまると仮定する理論的な理由がある場合：

$$Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)^{\beta_3}$$

変換後に通常の最小二乗多重線形回帰を使用してパラメーターを推定できますか $\beta{_0,_1,_2,_3}$？はいの場合、どのような変化ですか？

そうでない場合、R（および簡単な説明）には、このモデルの近似と残差をより一般的なMLRモデルと比較するのに役立つ特別なパッケージがありますか？

ありがとう。

コード例：

## while I can run "nls," I cannot get $\epsilon$ inside parentheses nor
## can I have four BETAs

var1 <- rnorm(50, 100, 1)
var2 <- rnorm(50, 120, 2)
var3 <- rnorm(50, 500, 5)

## make a model without $\beta_1$ and $\beta_2$ and with $\epsilon_i$ on outside
nls(var3 ~ (a + var1 + var2)^b, start = list(a = 0.12345, b = 0.54321))

Nonlinear regression model
  model: var3 ~ (a + var1 + var2)^b
  data: parent.frame()
   a        b 
 475.5234   0.9497 
 residual sum-of-squares: 1365

Number of iterations to convergence: 6 
Achieved convergence tolerance: 8.332e-08

## FAILS with exponent on left-hand side and $\epsilon$ inside parentheses
nls(var3^(1/b) ~ (a + var1 + var2), start = list(a = 0.12345, b = 0.54321))
Error in eval(expr, envir, enclos) : object 'b' not found

## FAILS with all BETAs
nls(var3 ~ (a + b*var1 + c*var2)^d, start = list(a = 4, b = 1, c = 1, d = 1))
Error in numericDeriv(form[[3L]], names(ind), env) : 
Missing value or an infinity produced when evaluating the model

いいえ（少なくともはありませんnls）

そのドキュメントからnls、フォームの関数に適合します$Y_i| \theta, X_i = f(\theta, X_i) + \epsilon$ （そして、その場合のMLEです $\epsilon$ is iid Normal）なので、関係は非線形最小二乗クラスに含まれません。

分布を説明できるか見てみましょう $Y$続くかもしれません。しましょう$Z_i = \beta_0+\beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$ とすれば $\epsilon_i$ です $N(0, 1)$、その後 $Z_i \sim N(\beta_0+\beta_1 x_{1i} + \beta_2 x_{2i}, 1)$。もし$\beta_3 = 2$ そして、例えば、私たちはそれを持つことができます $Y_i$ 非中央です $\chi^2_1$。

はい（Box-cox変換を使用）

もし $Y_i = Z_{i}^{\beta_3}$ 1対1の変換です（つまり、少なくとも $\beta_3$ ではありません）次に、box-cox変換のファミリーを再発見しました。

$$Y(\lambda) = \begin{cases} (\lambda Z + 1)^{1/\lambda}, \lambda >0 \\ e^Z, \lambda = 0 \end{cases},$$ あなたが説明するシナリオが明確に含まれています。古典的には、$\lambda$ プロファイルの尤度、つまり、 $\lambda$RSSをチェックして最小二乗法に適合させます。 Analysis of Transformations of Revisited（1981）は、理論を適切に再検討しているようです。boxcoxパッケージ内の関数はそのMASSような推定を行います。もし$\beta_3$ より洗練された何かをする必要があるかもしれない迷惑というよりむしろ興味のあるパラメータです。

Andrew Mは良い答えを出したと思います。私はいくつかの関連するポイントを作りたいと思います。

Andrew Mが示すように、非線形最小二乗を使用して直接モデルを作成することはできません。ただし、この密接に関連するモデルを非線形LSで近似できます。

$Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i})^{\beta_3} + \epsilon_i$

これはあまり使用されていないように見えるかもしれませんが、初期推定値を取得するのに役立ちます。 $\beta_3$ （直接実行するか、Box-Coxを介して実行するかにかかわらず）実際のモデルの最適化の適切な開始点を取得する。

また、 $Y$ 厳密に正の場合、この変換を検討できます。

$\log(Y_i) = \beta_3 \log(\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)$

繰り返しになりますが、わずかな変更（括弧の外のエラー項を引く）により、非線形最小二乗フィッティングが可能になります。次に、得られた推定値を使用して再重み付けできます$\beta_3$見積もりを改善するため。唯一の困難は、ログ内の近似値が厳密に正ではない状況に遭遇した場合です。

[ワイブル回帰を検討する準備をしている場合（つまり、Yがワイブルであり、平均がXに依存している場合）、それを使用して何か便利なことができる場合があります。ただし、xとの関係の形式は変わります。関連するアプローチは、$\beta_3$ あなたは変革を検討することができます $Y$ （$Y^*=Y^{1/\beta_3}$）と、IDリンクを含む指数GLMを $Y^*$ガウスではなく。これも、ワイブルモデルに対応します。$Y$、しかしあなたが提案する方法で入力するパラメータで）。これは、グリッド上で行うことができます$\beta_3$ その可能性を最大にする値。]