タグ付けされた質問 「regression」

LassoとRidgeの両方で回帰モデルを実行しています（0〜5の範囲の離散結果変数を予測するため）。モデルを実行する前に、のSelectKBestメソッドを使用scikit-learnして、機能セットを250から25に減らします。初期の特徴選択を行わないと、ラッソとリッジの両方で精度スコアが低くなります（サンプルサイズが600と小さいためである可能性があります）。また、一部の機能は相互に関連していることに注意してください。 モデルを実行した後、LassoとRidgeの予測精度はほぼ同じであることがわかります。ただし、係数の絶対値で並べ替えた後、最初の10個のフィーチャをチェックすると、最大で％50のオーバーラップがあることがわかります。 つまり、機能の重要性が各方法で割り当てられていることを考えると、選択したモデルに基づいてまったく異なる解釈をする可能性があります。 通常、機能はWebサイトでのユーザーの行動のいくつかの側面を表します。そのため、予測能力が高い機能（ユーザーの行動）と弱い機能（ユーザーの行動）を強調して、調査結果を説明したいと思います。しかし、今のところどうすればいいのかわかりません。モデルの解釈にはどのようにアプローチすればよいですか？たとえば、両方を組み合わせて重複するものを強調表示する必要がありますか、それとも解釈性が向上するので、投げ縄を使用する必要がありますか？

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

ユーザー属性とサービスから訪問数を計算しようとしています。データは非常に歪んでいます。 ヒストグラム： qqプロット（左は対数）： m <- lm(d$Visits~d$Age+d$Gender+city+service) m <- lm(log(d$Visits)~d$Age+d$Gender+city+service) cityとservice因子変数です。 すべての変数で低いp値***が得られますが、rの2乗が.05と低くなっています。私は何をすべきか？指数関数などの別のモデルが機能しますか？

11 regression  multiple-regression  predictive-models  exponential  qq-plot 

私は以前、学部生や卒業生のクラスでその用語を聞いたことがないことを告白しなければなりません。 ロジスティック回帰がベイジアンであるとはどういう意味ですか？次のような通常のロジスティックからベイジアンロジスティックへの移行に関する説明を探しています。 これは、線形回帰モデルでの式である：。E(y)=β0+β1x1+...+βnxnE(y)=β0+β1x1+...+βnxnE(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n これはロジスティック回帰モデルの方程式です：。これは、yがカテゴリカルの場合に行われます。ln(E(y)1−E(y))=β0+β1x1+...+βnxnln⁡(E(y)1−E(y))=β0+β1x1+...+βnxn\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n 私たちが行っていることは、変更されるへのln （E （Y ）E(y)E(y)E(y)。ln(E(y)1−E(y))ln⁡(E(y)1−E(y))\ln(\frac{E(y)}{1-E(y)}) では、ベイジアンロジスティック回帰のロジスティック回帰モデルはどうなりますか？方程式とは関係ないのではないかと思います。 この本のプレビューは定義しているようですが、私にはよくわかりません。この以前の可能性のすべては何ですか？とは？本の一部またはベイジアンロジットモデルを別の方法で誰かが説明してもらえますか？αα\alpha 注：これは以前に尋ねられましたが、あまりよく答えられていないと思います。

11 regression  logistic  bayesian  multiple-regression  generalized-linear-model 

私は、輸入業者が代理店の顧客ネットワークから製品の需要を予測できるようにすることを目的とした予測アプリケーションを開発しています。需要を満たすのに十分な在庫がある限り、売上高は需要のかなり良いプロキシです。ただし、在庫がゼロになると（顧客が回避できるようにするために検討している状況）、目標を達成できなかったことはあまりわかりません。十分な供給があった場合、顧客はいくつの売上を上げましたか？単純なターゲット変数としてセールスを使用する標準的な回帰ベースのMLアプローチは、時間、私の説明変数、および需要の間の関係の一貫性のない推定を生成します。 Tobitモデリングは、問題に取り組む最も明白な方法です：http : //en.wikipedia.org/wiki/Tobit_model。ランダムフォレスト、GBMS、SVM、およびニューラルネットワークのML適応についても疑問に思っています。これは、データの左きき打ち構造も考慮しています。 つまり、機械学習ツールを左打ち切りの回帰データに適用して、従属変数と独立変数間の関係の一貫した推定値を取得するにはどうすればよいですか？Rで利用可能なソリューションが最初に優先され、次にPythonが優先されます。 乾杯、 アーロン

11 r  regression  machine-learning  censoring 

インストルメンタル変数が回帰の選択バイアスにどのように対処するのかと思います。 ここに私が噛んでいる例があります：ほぼ無害な計量経済学で、著者は兵役と人生の後期の収入に関連するIV回帰について議論します。問題は、「軍での奉仕は将来の収入を増加または減少させるか」ということです。彼らはベトナム戦争の文脈でこの質問を調査します。私は兵役を無作為に割り当てることはできず、これは因果推論の問題であることを理解しています。 この問題に対処するために、研究者は実際の兵役の手段として適格性のドラフト（「ドラフト番号が呼び出される」など）を使用します。それは理にかなっています：ベトナムのドラフトはランダムに若いアメリカ人男性を軍隊に割り当てました（理論的には、ドラフトが実際に私の質問に触れたかどうか）。私たちの他のIV条件はしっかりしているようです。適格草案と実際の兵役は強く、正の相関があります。 これが私の質問です。自己選択のバイアスがかかるようです。たぶん、より裕福な子供たちは、彼らのドラフト番号が呼び出されたとしても、ベトナムでの奉仕から抜け出すことができます。（それが実際に当てはまらない場合は、私の質問のためにふりをしましょう）。この自己選択によりサンプル内にシステムバイアスが生じる場合、計測変数はこのバイアスにどのように対処しますか？推論の範囲を「ドラフトから逃れられなかった人々のタイプ」に狭める必要がありますか？それともIVはどういうわけか私たちの推論のその部分を救いますか？これがどのように機能するかを誰かが説明できれば、私は非常に感謝します。

11 regression  econometrics  bias  causality  instrumental-variables 

免責事項：これは宿題プロジェクトのためのものです。 私はいくつかの変数に応じて、ダイヤモンドの価格に最適なモデルを考え出そうとしていますが、今のところかなり良いモデルを持っているようです。ただし、明らかに同一線上にある2つの変数に遭遇しました。 >with(diamonds, cor(data.frame(Table, Depth, Carat.Weight))) Table Depth Carat.Weight Table 1.00000000 -0.41035485 0.05237998 Depth -0.41035485 1.00000000 0.01779489 Carat.Weight 0.05237998 0.01779489 1.00000000 TableとDepthは互いに依存していますが、それでも予測モデルに含めたいと思います。ダイヤモンドについて調べてみたところ、表と深さは、ダイヤモンドの上部を横切る長さと、ダイヤモンドの上部から下部までの距離です。ダイヤモンドのこれらの価格は美しさに関連しているようであり、美しさは関連している比率であると思われるので、私はそれらの比率を含めるつもりでした、たとえば価格を予測するには、 D e p t hを使用します。共線変数を処理するためのこの標準的な手順ですか？そうでない場合、何ですか？TableDepthTableDepth\frac{Table}{Depth} 編集：これは、深さ〜テーブルのプロットです：

11 regression  correlation  self-study  model-selection  multicollinearity 

私はデータ分析のクラスに参加していて、根強いアイデアが揺さぶられています。つまり、エラー（イプシロン）やその他の種類の分散は、グループ（サンプルまたは母集団全体）にのみ（そう考えると）適用されるという考えです。現在、回帰の仮定の1つは、分散が「すべての個人で同じ」であるということです。これは何となくショックです。常に一定であると想定されたのは、Xのすべての値にわたるYの分散であると常に思っていました。 私は教授と話をしました、彼は私たちに回帰を行うとき、私たちはモデルが真実であると仮定していると私に言いました。それが難しい部分だと思います。私にとって、エラー項（イプシロン）は常に、「私たちが知らない要素で、結果変数に影響を与える可能性のある要素に加えて、いくつかの測定エラー」のようなものを意味していました。クラスの教え方には、「その他」のようなものはありません。私たちのモデルは真実で完全であると想定されています。つまり、すべての残差は測定誤差の結果として考える必要があります（したがって、20回測定すると、20回測定すると同じ分散が生じることが予想されます）。 どこかおかしいと感じました。これについて専門家の意見を聞きたいのですが...概念的に言えば、エラーの用語が何であるかについて解釈の余地はありますか？

11 regression  variance  error  measurement-error 

単変量回帰が得られたときに、従属変数に関する残差のプロットを調べることが理にかなっているかどうかを知りたいのですが。それが理にかなっている場合、（y軸の）残差と（x軸の）従属変数の推定値の間の強い線形の増加する相関は何を意味しますか？

11 regression  residuals 

線形混合効果モデルは、グループで収集および要約されるデータの線形回帰モデルの拡張です。主な利点は、係数が1つ以上のグループ変数に対して変化する可能性があることです。 しかし、混合効果モデルをいつ使用するかと悩んでいますか？極端なケースのおもちゃの例を使用して、質問を詳しく説明します。 動物の身長と体重をモデル化し、種をグループ化変数として使用するとします。 異なるグループ/種が本当に異なる場合。犬と象を言う。混合効果モデルを使用する意味はないと思います。グループごとにモデルを作成する必要があります。 異なるグループ/種が本当に類似している場合。雌犬と雄犬と言います。モデルのカテゴリ変数として性別を使用したいと思うかもしれません。 では、中間のケースでは混合効果モデルを使用する必要があると思いますか？たとえば、グループは猫、犬、ウサギで、サイズは似ていますが異なる動物です。 混合効果モデルをいつ使用するか、つまりどのように線を引くかを示唆する正式な議論はありますか 各グループのモデルを構築する 混合効果モデル グループを回帰のカテゴリ変数として使用する 私の試み：方法1は最も「複雑なモデル」/自由度が低く、方法3は最も「単純なモデル」/自由度が高いです。そして、混合効果モデルが真ん中にあります。Bais Variance Trade Offに従って、適切なモデルを選択するために必要なデータ量と複雑なデータを検討する場合があります。

11 regression  mixed-model  random-effects-model  linear 

わかりましたので、いくつかのことで少しかすんでいます、どんな助けでも大歓迎です。線形回帰モデルが条件付き期待値を介して予測されることは私の理解です E(Y|X)=b+Xb+eE(Y|X)=b+Xb+eE(Y|X)=b+Xb+e とYの両方が確率変数の未知の確率変数であると想定しますか？残差と推定ベータ係数のみが確率変数であることが私の理解でした。もしそうなら、例として、Y =肥満でX =年齢の場合、条件付き期待値E （Y | X = 35 ）の意味をとると、個人がサンプル全体で35である場合、肥満の期待値はどうなるでしょうか。X = 35である観測値について、yの平均（算術平均）を取るだけです。XXXYYYY=Y=Y =X=X=X =E(Y|X=35)E(Y|X=35)E(Y|X=35)353535X=35X=35X=35？しかし、期待値は、これに発生確率を掛ける必要があることを意味しませんか？しかし、その意味で、値変数が年齢のようなものを表す場合に発生する確率をどのように見つけるのでしょうか。XXX が為替レートのようなものを表す場合、これはランダムとして分類されますか？確率を知らずに、これの期待値をどのようにして見つけますか？または、期待値がちょうど限界の平均と等しいでしょう。XXX 従属変数がそれ自体確率変数であると想定しない場合、確率を無視しないため、それらは何であると想定しますか？固定値だけか何か？しかし、これが事実である場合、非ランダム変数を最初にどのように条件付けできますか？独立変数の分布について何を仮定しますか？ 何かが意味をなさないか、誰にでも明らかな場合は申し訳ありません。

11 regression 

私は100の観測値（9つのダミー指標変数）を持ち、1000のポジティブを持っています。この場合、ロジスティック回帰は問題なく機能するはずですが、カットオフの可能性に戸惑います。 一般的な文献では、1と0を予測するために50％カットオフを選択しています。モデルの最大値が1％以下であるため、これを行うことはできません。したがって、しきい値は0.007またはその付近のいずれかになります。 ROC曲線と、曲線の下の領域が同じデータセットの2つのLRモデルを選択するのにどのように役立つかを理解しています。ただし、ROCは、サンプル外のデータでモデルをテストするために使用できる最適なカットオフ確率を選択するのに役立ちません。 私は単に最小化するカットオフ値を使用する必要がありmisclassification rateますか？（http://www2.sas.com/proceedings/sugi31/210-31.pdf） 追加->このように低いイベントレートの場合、誤分類率は膨大な数の誤検知の影響を受けます。全体のユニバースサイズも大きいので、全体の比率は良好に見えますが、私のモデルはそれほど多くの誤検知があってはなりません（これは投資収益モデルであるため）。5/10係数は重要です。

11 regression  logistic  classification  generalized-linear-model  roc 

外れ値の検出に回帰を使用できますか。外れ値を削除して回帰モデルを改善する方法があることを理解しています。ただし、ここでの主な目的は、回帰モデルを適合させることではなく、回帰を使用してライアを見つけることです

11 regression  outliers 

正規方程式は、Xが可逆であるという仮定なしに1つ以上の解を持つことをどのように証明できますか？（XTバツ）β= XTY(XTX)β=XTY(X^TX)\beta = X^TY 私の唯一の推測は、それが一般化された逆と関係があるということですが、私は完全に失われています。

11 regression  proof 

さまざまな回帰問題でのスプラインの使用について多く読んでいます。一部の書籍（Hodges Richly Parrameterized Linear Modelsなど）は、ペナルティ付きスプラインを推奨しています。その他（たとえば、ハレル回帰モデリング戦略）は、制限付き3次スプラインを選択します。 実際、これらはどのように異なりますか？多くの場合、どちらか一方を使用した場合と実質的に異なる結果が得られますか？どちらか一方に特別な利点はありますか？

11 regression  splines 

論文「大規模予測」（FBProphet予測ツール、https： //peerj.com/preprints/3190.pdfを参照）を読んで、「まばらな事前」という用語に出くわしました。著者は、ロジスティック成長モデルのモデルパラメーターであるスカラーレートkからのレート偏差δδ\mathbf{\delta}ベクトルをモデリングする際に、そのような「スパースな事前」を使用していたと説明しています。kkk δj∼Laplace(0,τ)δj∼Laplace(0,τ)\delta_j \sim\text{Laplace}(0,\tau)ττ\taukkkττ\tau また、ラプラス分布を使用して事前共通を生成していますか？なぜ正規分布よりも好まれるのかわかりません。

11 regression  bayesian  forecasting