線形回帰の常に正の応答変数の予測の負の値

常に正である必要がある線形回帰の応答変数（クリックあたりのコスト）を予測しようとしています。金額です。アドワーズ広告では、広告のクリックに対してグーグルに支払い、負の数は、人々がクリックしたときにグーグルに支払いをすることを意味します：P

予測子はすべて連続値です。RsquaredとRMSEは、サンプル外であっても、他のモデルと比較するとまともです。

  RMSE        Rsquared 
1.4141477     0.8207303

それはお金なので、予測を再調整することはできません。そのため、小さな再調整係数でもコストを大幅に変更する可能性があります。

私が理解している限り、回帰モデルについては、ゼロと負の数について特別なことは何もないため、出力が部分的に負であるかどうかに関係なく、最適な回帰超平面を見つけます。

これは私が持っているすべての変数を使用して、非常に最初の試みです。したがって、改善の余地があります。

出力を負にすることはできないことをモデルに伝える方法はありますか？

この線形回帰モデルでOLS推定器を使用していると思います。不等式制約付き最小二乗推定量を使用できます。これは、不等式制約下での最小化問題の解決策になります。標準の行列表記（ベクトルは列ベクトルです）を使用すると、最小化問題は次のように表されます

$$\min_{\beta} (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) \\s.t.-\mathbf Z\beta \le \mathbf 0$$

...ここで、は、は、は、は行列であり、標本外の一連のリグレッサを含みます予測に使用される長さ。我々は線形不等式制約（目的関数が凸であるため、一次条件は最小に十分です）。$\mathbf y$$n \times 1$$\mathbf X$$n\times k$$\beta$$k\times 1$$\mathbf Z$$m \times k$$m$$m$

この問題のラグランジュは

$$L = (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) -\lambda'\mathbf Z\beta = \mathbf y'\mathbf y-\mathbf y'\mathbf X\beta - \beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$$

$$= \mathbf y'\mathbf y - 2\beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$$

ここで、は、負ではないKarush -Kuhn -Tucker乗数の列のベクトルです。1次条件は次のとおりです（行列とベクトルの微分のルールを確認することをお勧めします）。$\lambda$$m \times 1$

$$\frac {\partial L}{\partial \beta}= \mathbb 0\Rightarrow - 2\mathbf X'\mathbf y +2\mathbf X'\mathbf X\beta - \mathbf Z'\lambda$$

$$\Rightarrow \hat \beta_R = \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'\mathbf y + \frac 12\left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\lambda = \hat \beta_{OLS}+ \left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\xi \qquad [1]$$

...ここで、、便宜上、は、通常の最小二乗推定から得られる推定量です。 β OL$\xi = \frac 12 \lambda$$\hat \beta_{OLS}$

この方法はLiew（1976）で詳細に説明されています。