タグ付けされた質問 「linear-model」

質問： 不適切な線形モデルは実際に使用されていますか、それとも科学雑誌で時々説明されているある種の好奇心ですか？もしそうなら、それらはどの領域で使用されていますか？ そのようなモデルの他の例はありますか？ 最後に、そのようなモデルのOLSから取得した標準誤差、値、R 2などは正しいのでしょうか、それとも何らかの方法で修正する必要がありますか？pppR2R2R^2 背景：不適切な線形モデルは、文献に随時説明されています。一般に、そのようなモデルは次のように説明できます。 y=a+b∑iwixi+εy=a+b∑iwixi+ε y = a + b \sum_i w_i x_i + \varepsilon 回帰との違いは、はモデルで推定された係数ではなく、wjwjw_j 各変数等しい（単位加重回帰）、wi=1wi=1w_i = 1 相関に基づく（Dana and Dawes、2004）、wi=ρ(y,xi)wi=ρ(y,xi)w_i = \rho(y, x_i) ランダムに選択された（Dawes、1979）、 −1−1-1yyy111yyy ZZZ y=a+bv+εy=a+bv+ε y = a + b v + \varepsilon v=∑wixv=∑wixv = \sum w_i x 参考文献： Dawes、Robyn M.（1979）。意思決定における不適切な線形モデルの堅牢な美しさ。アメリカの心理学者、 34、571-582。 Graefe、A.（2015）。均等に重み付けされた予測子を使用して予測を改善します。Journal of …

9 regression  references  linear-model  robust 

線形回帰では、モデルを当てはめると楽しい結果に出会いました E[Y]=β1X1+β2X2+c,E[Y]=β1X1+β2X2+c,E[Y] = \beta_1 X_1 + \beta_2 X_2 + c, 次に、、X 1およびX 2データを標準化して中央揃えすると、YYYX1X1X_1X2X2X_2 R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2. これは、y = m x + c回帰の 2変数バージョンのように感じます。R2=Cor(Y,X)2R2=Cor(Y,X)2R^2 = \mathrm{Cor}(Y,X)^2y=mx+cy=mx+cy=mx+c しかし、私が知っている唯一の証拠は、いずれにせよ建設的または洞察に富んでいない（下記を参照）ものですが、それを見ると、すぐに理解できるはずです。 考えの例： およびβ 2のパラメータは、私たちの「割合」与えるX 1およびX 2でYを、我々は彼らの相関のそれぞれの割合を取っているので、と...β1β1\beta_1β2β2\beta_2X1X1X_1X2X2X_2YYY sは部分相関であり、R 2は二乗複数の相関である...相関は部分相関を乗じ...ββ\betaR2R2R^2 最初に直交化すると、はC o v / V a r ...になります。この結果は幾何学的に意味がありますか？ββ\betaCov/VarCov/Var\mathrm{Cov}/\mathrm{Var} これらのスレッドのどれも私にとってどこにも通じないようです。誰もがこの結果を理解する方法の明確な説明を提供できますか？ 不満足な証拠 R2=SSregSSTot=SSregN=⟨(β1X1+β2X2)2⟩=⟨β21X21⟩+⟨β22X22⟩+2⟨β1β2X1X2⟩R2=SSregSSTot=SSregN=⟨(β1X1+β2X2)2⟩=⟨β12X12⟩+⟨β22X22⟩+2⟨β1β2X1X2⟩\begin{equation} R^2 …

9 regression  linear-model  r-squared  proof 

独立変数（x）に一定の測定誤差があり、従属変数（y）に信号依存誤差があるデータに最適な線形回帰アルゴリズムを探しています。 上の画像は私の質問を示しています。

9 regression  linear-model  measurement-error  measurement 

線形回帰を使用して顧客のログ（支出）を予測する問題について考えています。 入力として使用する機能を検討していて、変数のパーセンタイルを入力として使用してもよいかどうか疑問に思っています。 たとえば、会社の収益を入力として使用できます。私が疑問に思っているのは、代わりに会社の収益パーセンタイルを使用できるかどうかです。 別の例は、カテゴリー産業分類子（NAICS）です。NAICSコードごとの中央値支出を見て、各NAICSコードを「NAICSパーセンタイル」に割り当てるとしたら、それは私が使用できる有効な説明変数ですか？ パーセンタイルを使用するときに注意すべき問題があるかどうか疑問に思っていますか？ある意味で、ある種の特徴スケーリングと同等ですか？

9 regression  linear-model  quantiles  predictor 

この本を読んでいたのは、ビショップのパターン認識と機械学習です。線形力学系の導出に関して混乱がありました。LDSでは、潜在変数が連続的であると想定しています。Zが潜在変数を示し、Xが観測変数を示す場合 p(zn|zn−1)=N(zn|Azn−1,τ)p(zn|zn−1)=N(zn|Azn−1,τ)p(z_n|z_{n-1}) = N(z_n|Az_{n-1},\tau) p(xn|zn)=N(xn,Czn,Σ)p(xn|zn)=N(xn,Czn,Σ)p(x_n|z_n) = N(x_n,Cz_n,\Sigma) p(z1)=N(z1|u0,V0)p(z1)=N(z1|u0,V0)p(z_1) = N(z_1|u_0,V_0) LDSでは、アルファベータ前方後方メッセージパッシングを使用して、事後潜在分布、つまりp （z n | X ）が計算されます。p(zn|X)p(zn|X)p(z_n|X) α(zn)=p(x1...xn,zn)α(zn)=p(x1...xn,zn)\alpha(z_n)=p(x1...xn,z_n) α^(zn)=α(zn)/P(x1....xn)α^(zn)=α(zn)/P(x1....xn)\hat\alpha(z_n) = \alpha(z_n)/P(x1....xn) 私の最初の質問は、それが与えられている本の中にあります α^(zn)=N(zn|un,Vn)α^(zn)=N(zn|un,Vn)\hat\alpha(z_n) = N(z_n|u_n,V_n) α^(zn)α^(zn)\hat\alpha(z_n)N(zn|un,Vn))N(zn|un,Vn))N(z_n|u_n,V_n)) 添付されている本のページのスクリーンショットをたどることができるので、私の次の質問は派生に関連しています。ませんでしたKnKnK_n un=Aun−1+Kn(xn−CAun−1)un=Aun−1+Kn(xn−CAun−1)u_n = Au_{n-1} + K_n(x_n - CAu_{n-1}) Vn=I−KnC)P(n−1)Vn=I−KnC)P(n−1)V_n = I - K_nC)P_(n-1) cn=N(xn|CAun−1,CPn−1CT+Σcn=N(xn|CAun−1,CPn−1CT+Σc_n = N(x_n|CAu_{n-1},CP_{n-1}C^T + \Sigma KnKnK_nPn−1CT(CPn−1CT+Σ)−1Pn−1CT(CPn−1CT+Σ)−1P_{n-1}C^T(CP_{n-1}C^T + \Sigma) ^ {-1} 上記の方程式をどのように導き出したのか、つまり un=Aun−1+Kn(xn−CAun−1)un=Aun−1+Kn(xn−CAun−1)u_n …

9 machine-learning  linear-model  kalman-filter  pattern-recognition  graphical-model 

多次元データセットに対して線形回帰を実行したいと思います。次元の大きさに関しては、異なる次元間で違いがあります。たとえば、ディメンション1の値の範囲は通常[0、1]で、ディメンション2の値の範囲は[0、1000]です。 異なる次元のデータ範囲が同じスケールであることを確認するために変換を行う必要がありますか？もしそうなら、この種の変革のためのガイダンスはありますか？

9 regression  multiple-regression  linear-model 

Rを使用して、連続予測子と離散予測子の混合からの単一応答変数の線形モデルを近似しました。これは基本的ですが、離散因子の係数がどのように機能するかを理解するのに苦労しています。 コンセプト：明らかに、連続変数「x」の係数は次の形式で適用されy = coefx(varx) + interceptますが、係数が非数値の場合、係数zに対してどのように機能しますか？y = coefx(varx) + coefz(factorz???) + intercept 具体的：私はRのモデルをlm(log(c) ~ log(d) + h + a + f + h:a)どこにh、そしてf離散的で非数値的な因子としてフィットさせました。係数は次のとおりです。 Coefficients: Estimate (Intercept) -0.679695 log(d) 1.791294 h1 0.870735 h2 -0.447570 h3 0.542033 a 0.037362 f1 -0.588362 f2 0.816825 f3 0.534440 h1:a -0.085658 h2:a -0.034970 h3:a -0.040637 これらを使用して予測方程式を作成する方法： …

9 linear-model  regression-coefficients  contrasts 

次の実験的なセットアップを前提とします。 複数のサンプルが対象から取得され、各サンプルは複数の方法で処理されます（コントロール処理を含む）。主に興味深いのは、コントロールと各処理の違いです。 このデータの2つの単純なモデルを考えることができます。サンプル、処理、処理0をコントロールとして、データ、をサンプルのベースライン、を処理差とします。最初のモデルは、コントロールと違いの両方を調べます。iiijjjYijYijY_{ij}γiγi\gamma_iiiiδjδj\delta_jjjj Yij=γi+δj+ϵijYij=γi+δj+ϵij Y_{ij}=\gamma_i+\delta_j+\epsilon_{ij} δ0=0δ0=0 \delta_0=0 一方、2番目のモデルは違いのみを確認します。もし我々事前計算予め 次に dijdijd_{ij}dij=Yij−Yi0dij=Yij−Yi0 d_{ij}=Y_{ij}-Y_{i0} dij=δj+εijdij=δj+εij d_{ij}=\delta_j+\varepsilon_{ij} 私の質問は、これら2つのセットアップの基本的な違いは何ですか？特に、レベル自体が無意味であり、違いのみが重要である場合、最初のモデルはあまりにも多くを行っており、おそらく能力が不足していますか？

9 regression  anova  linear-model  ancova 

Rで、デフォルトの設定でqqplot(linear model)Y軸の標準化残差を使用するのはなぜですか？Rが「通常の」残差を使用しないのはなぜですか？

9 r  regression  linear-model  residuals  qq-plot 

2つの変数（と）間の相互作用を調査しています。これらの変数の間には、かなりの線形相関があります。問題の性質から、因果関係については何も言えません（が引き起こすか、またはその逆か）。外れ値を検出するために、回帰直線からの偏差を調べたいと思います。これを行うには、関数として線形回帰を作成するか、またはその逆を行います。可変順序の選択は結果に影響しますか？x 2 r > 0.9 x 1x1x1x_1x2x2x_2r>0.9r>0.9r>0.9x1x1x_1x 1 x 2x2x2x_2x1x1x_1x2x2x_2

9 regression  outliers  linear-model 

機能を考える r(x)=E(Y∣X=x)r(x)=E(Y∣X=x) r(x) = \mathbb{E}(Y \mid X = x) これは私が使っている教科書では回帰関数と呼ばれています。この関数と古典的な線形回帰モデルの関係を理解し​​ようとしています。 したがって、私たちが書くことができるのは定理*であることを知っています Y=r(X)+ϵY=r(X)+ϵ Y = r(X) + \epsilon いくつかの確率変数 st。E（ϵ ）= 0ϵϵ\epsilonE(ϵ)=0E(ϵ)=0\mathbb{E}(\epsilon) = 0 ここで、 Y= β0+ β1バツ+ ϵY=β0+β1X+ϵ Y = \beta_0 + \beta_1 X + \epsilon これは、古典的な1次元回帰関数です（とが残差二乗和を最小化すると仮定）。β 1β0β0\beta_0β1β1\beta_1 質問：では、が上記のように定義されている場合、YYY r （X）= E（Y∣ X）= （β0+ β1バツ）？r(X)=E(Y∣X)=(β0+β1X)? r(X) = \mathbb{E}(Y \mid X) …

9 regression  linear-model 

Rで作成された線形モデルについて質問されましたlm。 「回帰は線形または非線形の反復最小二乗法を使用しましたか？」 私は少し検索して、2つの違いを理解しましたが、Rが線形最小二乗法を使用していることの証拠は見つかりませんでしたlm（これは私が使用していると思います）。 私はthrouhg lmとその基礎となる関数のlm.fitドキュメントをとかしましたが、関連するものは何も見つかりませんでした。 私が尋ねられた質問は馬鹿げた質問だと思います、そしてそれはおそらく間違って定式化されていますが、私がそれにどのように答えることができるかについての助けをいただければ幸いです。

9 r  linear-model  lm 

私は予測に興味があり、Y異なる2つの測定手法X1とを研究していX2ます。たとえば、テーブルの上に置いた時間を測定するか、バナナの茶色の斑点の数を測定することで、バナナの美味しさを予測したい場合があります。 1つだけを実行することを選択した場合、どちらの測定手法が優れているか知りたい。 Rで線形モデルを作成できます。 m1 = lm(Y ~ X1) m2 = lm(Y ~ X2) ではX1、バナナの美味しさの優れた予測因子であるとしましょうX2。2つのモデルのを計算すると、モデルのR 2はモデルより明らかに高くなります。メソッドがどのように優れているかについての論文を書く前に、違いが偶然ではないこと、おそらくp値の形である種の指標を得たいと思います。R2R2R^2R2R2R^2m1m2X1X2 これについてはどうすればよいでしょうか？異なるブランドのバナナを使用しているときに、バナナブランドをランダムエフェクトとして組み込んだ線形混合効果モデルに移行する方法を教えてください。

9 regression  linear-model  mixed-model 

高次元のデータセットがあり、特徴選択を実行したいとします。1つの方法は、このデータセットで最も重要な機能を特定できるモデルをトレーニングし、これを使用して最も重要でない機能を破棄することです。 実際には、これにsklearnのSelectFromModelトランスフォーマーを使用します。ドキュメントによると、feature_importances_またはcoef_属性のいずれかを持つ任意の推定量はそうするでしょう。 ほかになげなわ、他の多くの線形モデルは、この属性を持つ（線形回帰、リッジとElasticNetは少数を示すために）との識別のために使用することができる最も重要な機能を。 Lassoがデータセットの最も重要な特徴を特定するための最も人気のあるモデルになっている理由は何ですか？

9 feature-selection  linear-model  lasso  ridge-regression 

私は高校生に物理学を教えています。生徒たちに、実験のデータについて初歩的なベイズモデル比較を行ってもらいたいと思います。私は彼らがそうする方法を考え出しました（以下を参照）が、それが正しいかどうかはわかりません。私はそれについてのフィードバック（特に否定的なフィードバック！）、またはそれをより良くする方法についての提案をいただければ幸いです。 勾配aaaと切片パラメーターを持つ線形理論bbbを、定数の帰無仮説、つまり勾配aaa = 0 と比較します。どちらの場合も、ガウス対称ノイズを想定しています。 学生は、Excel、勾配と切片のための最尤推定値（使用して、導き出すことができ、およびBを）、およびそのエラーがdのとD Bを。a^a^\hat{a}b^b^\hat{b}dadadadbdbdb 斜面上の前のため、私は、広いガウス分布を考慮し、最大=尤推定（を中心）とその10倍の標準偏差。私の推論は、現実的には「正しい」ラインパラメータを少なくとも1マグニチュード内に見つけることを期待しており、実際にはより近いものを見つけるため、「正しい」スロープをMLEに置き換えても変更しません数が多すぎます。a^a^\hat{a} いずれかの特定の線形理論与えられた証拠の可能性のために、私は、標準偏差（と、標準の多変量ガウス分布を考慮しての二乗残差和に関連します）。σeσe\sigma_e したがって、一般的に線形理論の証拠の尤度、つまり上記の事前確率と尤度の積分は、MLEポイントでの事前尤度と尤度に勾配誤差を掛けたものと推定されます。dadada 帰無仮説所与の証拠の可能性について（全標準偏差を用いて、他の多変量ガウス分布であると仮定される平均-Yとの差に基づいて、）。σTσT\sigma_T これは、私が確信が持てない部分です。ベイズ係数を上記の2つの尤度（上記の3と4）の比率であると推定します。これにより、次の式を考え出すことができます。 B10= da（10 | a^| ⋅ 2 π√）（σT/ σe）N⋅ E√B10=da(10|a^|⋅2π)(σT/σe)N⋅eB_{10}=\frac{da}{(10 |\hat{a}| \cdot \sqrt{2 \pi})}(\sigma_T/\sigma_e)^N\cdot \sqrt{e} これにより、ベイズ因子の合理的な推定が得られますか？どんなフィードバックでも大歓迎です。

8 bayesian  linear-model  model-comparison  teaching  bayes-factors