タグ付けされた質問 「least-squares」

Deep Q-Learning Networkの損失関数がどの程度正確にトレーニングされているのか疑問です。私は、線形出力層とRelu非表示層のある2層フィードフォワードネットワークを使用しています。 4つのアクションがあるとします。したがって、現在の状態に対する私のネットワークの出力はです。より具体的にするために、と仮定しましょうststs_tQ(st)∈R4Q(st)∈R4Q(s_t) \in \mathbb{R}^4Q(st)=[1.3,0.4,4.3,1.5]Q(st)=[1.3,0.4,4.3,1.5]Q(s_t) = [1.3, 0.4, 4.3, 1.5] 次に、値対応するアクション、つまり3番目のアクションを実行し、新しい状態到達します。at=2at=2a_t = 24.34.34.3st + 1st+1s_{t+1} 次に、状態フォワードパスを計算し、出力レイヤー次の値を取得するとします。また、報酬ととしましょう。st + 1st+1s_{t+1}Q （st + 1）= [ 9.1 、2.4 、0.1 、0.3 ]Q(st+1)=[9.1,2.4,0.1,0.3]Q(s_{t+1}) = [9.1, 2.4, 0.1, 0.3]rt= 2rt=2r_t = 2γ= 1.0γ=1.0\gamma = 1.0 損失は​​以下によって与えられます： L =（11.1−4.3）2L=(11.1−4.3)2\mathcal{L} = (11.1- 4.3)^2 または L = 14Σ３i = …

10 least-squares  deep-learning  loss-functions  reinforcement-learning  q-learning 

林の計量経済学では、古典的なOLSの仮定の1つは次のとおりであると述べられています：そして、すべてのに対しての影響があり、エラー項がリグレッサと無相関であることを知っています。E(ϵi|x1,x2,…,xn)=0, for i=1,…,n.(1)(1)E(ϵi|x1,x2,…,xn)=0, for i=1,…,n.\mathbb{E}(\epsilon_i\lvert\mathbf{x_1}, \mathbf{x_2}, \ldots, \mathbf{x_n}) = 0 \text{, for } i=1, \ldots, n. \tag{1}E(ϵi)=0E(ϵi)=0\mathbb{E}(\epsilon_i) = 0i=1,…,ni=1,…,ni = 1, \ldots,n しかし、式（1）自体は実際にはどういう意味ですか？教育的な例が役立つでしょう。

10 regression  econometrics  least-squares 

HastieとTibshiraniは、彼らの本のセクション4.3.2 で、線形回帰の設定では、最小二乗アプローチは実際には最大尤度の特別なケースであると述べています。この結果をどのように証明できますか？ PS：数学的な詳細はありません。

9 regression  maximum-likelihood  least-squares 

次の線形関係を仮定： ここで、Y iは従属変数であり、X I単一の独立変数及びU I誤差項。Yi=β0+β1Xi+uiYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_iYiYiY_iXiXiX_iuiuiu_i Stock＆Watson（計量経済学入門; 第4章）によると、3番目の最小二乗の仮定は、とu iの4次モーメントは非ゼロで有限（0 &lt; E （X 4 i）&lt; ∞ および 0 &lt; E （u 4 i）&lt; ∞ ）。XiXiX_iuiuiu_i(0&lt;E(X4i)&lt;∞ and 0&lt;E(u4i)&lt;∞)(0&lt;E(Xi4)&lt;∞ and 0&lt;E(ui4)&lt;∞)(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty) 3つの質問があります。 私はこの仮定の役割を完全には理解していません。この仮定が成り立たない場合、または推論にこの仮定が必要な場合、OLSは偏っており、矛盾していますか？ ストックとワトソンは、「この仮定は、またはu iの非常に大きな値で観測値を描画する確率を制限します。」と書いています。しかし、私の直感では、この仮定は極端です。外れ値が大きい場合（4次モーメントが大きい場合など）に問題がありますが、これらの値がまだ有限である場合はどうでしょうか。ところで、外れ値の根底にある定義は何ですか？XiXiX_iuiuiu_i これを次のように再定式化できますか：「とu iの尖度は非ゼロで有限ですか？」XiXiX_iuiuiu_i

9 regression  least-squares  assumptions  bias  consistency 

不確実なデータがあるとしましょう。例えば： X Y 1 10±4 2 50±3 3 80±7 4 105±1 5 120±9 不確かさの性質としては、繰り返し測定や実験、測定器の不確かさなどがあります。 Rを使用してカーブをフィットさせたいのですが、通常はで行いlmます。ただし、これは、フィット係数の不確実性、したがって予測区間の不確実性を私に与える場合、データの不確実性を考慮に入れていません。ドキュメントを見ると、lmページにはこれがあります： ...重みは、異なる観測値に異なる分散があることを示すために使用できます... だから、多分これは何か関係があるのではないかと思います。私はそれを手動で行う理論を知っていますが、lm関数でそれを行うことが可能かどうか疑問に思っていました。そうでない場合、これを実行できる他の関数（またはパッケージ）はありますか？ 編集 コメントのいくつかを見て、ここにいくつかの明確化があります。この例を見てみましょう： x &lt;- 1:10 y &lt;- c(131.4,227.1,245,331.2,386.9,464.9,476.3,512.2,510.8,532.9) mod &lt;- lm(y ~ x + I(x^2)) summary(mod) くれます： Residuals: Min 1Q Median 3Q Max -32.536 -8.022 0.087 7.666 26.358 Coefficients: Estimate Std. Error t …

9 r  least-squares  error-propagation 

R重み付けされた最小二乗法とマトリックス演算による手動のソリューションから異なる結果が得られる理由を誰かに教えてもらえますか？ 具体的には、を手動で解決しようとしています。ここで、は重みの対角行列、はデータ行列、は応答ですベクター。 W A bWAx=WbWAx=Wb\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf bWW\mathbf WAA\mathbf Abb\mathbf b 引数R lmを使用して結果を関数と比較しようとしていweightsます。

9 r  regression  least-squares  weighted-regression  weighted-data 

私の友人は最近、普通の最小二乗について、何がそんなに普通かを尋ねました。議論のどこにも行き着かなかったようです。OLSは線形モデルの特殊なケースであり、多くの用途があり、よく知られており、他の多くのモデルの特殊なケースであることに、両者は同意しました。しかし、これは本当にすべてですか？ したがって、私は知りたいのですが： 名前は本当にどこから来たのですか？ 名前を最初に使用したのは誰ですか？

9 regression  linear-model  least-squares  terminology 

線形回帰設定の不均一性の下では、OLSは公平ではありませんが効率的ではありません。 ウィキペディアで http://en.wikipedia.org/wiki/Minimum_mean_square_error MMSE推定量は漸近的に不偏であり、正規分布に収束します： 、ここでI（x）はxのフィッシャー情報です。したがって、MMSE推定器は漸近的に効率的です。n−−√(x^−x)→dN(0,I−1(x))n(x^−x)→dN(0,I−1(x))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right) MMSEは漸近的に効率的であると主張されています。ここで少し混乱しています。 これは、OLSが有限サンプルでは効率的ではないが、異分散性では漸近的に効率的であることを意味しますか？ 現在の回答の批評：これまでのところ、提案された回答は制限的な分布に対処していません。 前もって感謝します

9 least-squares  heteroscedasticity  efficiency 

最小二乗法では、モデルの未知のパラメーターを推定します。 Yj=α+βxj+εj(j=1...n)Yj=α+βxj+εj(j=1...n)Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n) （いくつかの観測値について）それを実行すると、近似回帰直線が得られます。 Yj=α^+β^x+ej(j=1,...n)Yj=α^+β^x+ej(j=1,...n)Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n) ここで明らかに、いくつかのプロットをチェックして、仮定が満たされていることを確認します。等分散性をチェックしたいとしますが、これを行うには、実際には残差チェックしています。残差対予測値のプロットを調べて、不等分散性が明らかであることがわかった場合、それが外乱項とどのように関係しているのでしょうか。残差の異分散性は、外乱条件の異分散性を意味しますか？ ε Jejeje_jεjεj\varepsilon_j

9 regression  least-squares  residuals  heteroscedasticity  assumptions 

回帰分析におけるハット行列の重要性は何ですか？H=X(X′X)−1X′H=X(X′X)−1X′H=X(X^{\prime}X )^{-1}X^{\prime} 計算を簡単にするためだけですか？

9 regression  multiple-regression  least-squares 

場合、球状制限を課す最小二乗問題の値にのように書くことができる for the overdetermined system。\ | \ cdot \ | _2は、ベクトルのユークリッドノルムです。y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}∥⋅∥2‖⋅‖2\|\cdot\|_2 \ betaの対応する解ββ\betaは、\ begin {equation} \ hat {\ beta} = \ left（X ^ TX + \ lambda …

9 regression  least-squares  regularization  ridge-regression  underdetermined 

ガウスマルコフの仮定の下で、通常の最小二乗法が効率的で不偏の推定量を与えることは本当ですか？ そう： E（ut）= 0E（あなたt）=0E(u_t)=0 すべてのについてttt E（utあなたs）= σ2E（あなたtあなたs）=σ2E(u_tu_s)=\sigma^2 fort = st=st=s E（utあなたs）= 0E（あなたtあなたs）=0E(u_tu_s)=0 fort ≠ st≠st\neq s ここで、は残差です。あなたあなたu

9 regression  self-study  least-squares 

私はwikipediaの Guass-Markovの定理について読んでいます。誰かがこの定理の主要な点を理解するのを手伝ってくれることを願っていました。 ：私たちは、マトリクス状に、によって与えられ、線形モデルを想定し と私たちはBLUEを探しています、β。y= Xβ+ ηy=Xβ+η y = X\beta +\eta βˆβ^ \widehat\beta この、私はラベルう "残留"と ε = β - β "エラー"。（つまり、Gauss-Markovページでの使用法の反対です）。η= y− Xβη=y−Xβ\eta = y - X\betaε = βˆ- βε=β^−β\varepsilon = \widehat\beta - \beta OLS（通常の最小二乗）推定量は、のargminとして導出できます。| 残差| | 2 2 = | | η | | 2 2。| | 残差 | |22= …

9 regression  least-squares  mse  blue 

以下の移植片は、この記事から引用したものです。私はブートストラップの初心者であり、R bootパッケージを使用した線形混合モデルのパラメトリック、セミパラメトリック、ノンパラメトリックのブートストラップブートストラップを実装しようとしています。 Rコード これが私のRコードです： library(SASmixed) library(lme4) library(boot) fm1Cult &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn &lt;- function(data, indices){ data &lt;- data[indices, ] mod &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out &lt;- boot(data=Cultivation, statistic=boot.fn, R=99) Out ご質問 …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

\def\l{|\!|} 弾性ネット回帰が与えられた minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 クロス検証のために適切な範囲の\ lambdaをどのように選択できλλ\lambdaますか？ でα=1α=1\alpha=1の場合（リッジ回帰）式 dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} 各ラムダに同等の自由度を与えるために使用でき（ここでsjsjs_jはXの特異値ですXXX）、自由度は適切な範囲で選択できます。 ではα=0α=0\alpha=0の場合（なげなわ）私たちが知っていること λ&gt;λmax=maxj|∑tytXtj|λ&gt;λmax=maxj|∑tytXtj|\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}| 結果として、すべてのbjbjb_jはゼロになり、λλ\lambdaは（0、\ lambda_ \ textrm {max}）の範囲で選択できます(0,λmax)(0,λmax)(0, \lambda_\textrm{max})。 しかし、どのように混合ケースを処理するのですか？

9 least-squares  lasso  regularization  ridge-regression  elastic-net