タグ付けされた質問 「regression」

私はロジスティック回帰モデルに取り組んでいます。P値が0.74で有意ではない5つの独立変数で構築されたモデルの概要をチェックしました。変数を直接削除するか、それとも有意性をチェックする他の方法があるかを知りたいです？ 私の先輩は、無意味な変数の対数変換を行い、相関関係を探すよう提案しました。それはその重要性のチェックにカウントされますか？ model <- glm(Buy ~ a_score + b_score+ c_score+lb+p, data = history, family = binomial) 重要度が低いと表示されているa_scoreを除いて、すべての変数は2つまたは3つの星で重要であることがわかります。

9 r  regression  correlation 

単純な線形回帰のパラメーターを見つけるための勾配降下法について説明しているWebサイトは多数あります（ここにそのうちの1つがあります）。グーグルはまた彼らの新しい（公開された）MLコースでそれを説明している。 しかし上ウィキペディア、パラメータを計算するには、次の式が供給されてい α^β^= y¯- β^バツ¯、= ∑んi = 1（x私− x¯）（y私− y¯）Σんi = 1（x私− x¯）2α^=y¯−β^バツ¯、β^=Σ私=1ん（バツ私−バツ¯）（y私−y¯）Σ私=1ん（バツ私−バツ¯）2 {\displaystyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}} また、scikit-learnのLinearRegression関数には、n_iter_他の多くの学習関数のように（反復回数）属性がありません。これは、勾配降下法が使用されていないことを示唆していると思いますか？ 質問： 単純な線形回帰の勾配降下法を説明しているWebサイトは、最も基本的なMLモデルでその概念を教えるためにそうしているだけですか？ウィキペディアの公式は、ほとんどの統計ソフトウェアがパラメーターの計算に使用するものですか（少なくともscikit-learnは勾配降下法を使用していないようです）。 多重線形回帰には通常何が使用されますか？ 他の方法よりもパラメーターを見つけるために勾配降下法が通常使用される統計学習モデルのタイプは何ですか？つまり、経験則はありますか？

9 regression  scikit-learn  gradient-descent 

私はダニエル・カーネマンの「思考、高速、低速」を読んでいて、次のテキストに出くわしました 数年前、私は金融スキルの幻想を間近で調べる珍しい機会がありました。私は、非常に裕福な顧客に財務アドバイスやその他のサービスを提供している会社の投資顧問のグループに話すように招待されていました。私はプレゼンテーションを準備するためにいくつかのデータを要求し、小さな宝物を与えられました：連続した8年間のそれぞれについて、25人の匿名の資産顧問の投資結果をまとめたスプレッドシート。各アドバイザーの各年のスコアは、年末ボーナスの彼（彼らのほとんどが男性）の主要な決定要因でした。毎年のパフォーマンスでアドバイザーをランク付けし、彼らの間で永続的なスキルの違いがあったかどうか、同じクライアントが年々クライアントにより良い結果を一貫して達成したかどうかを判断することは簡単なことでした。 この質問に答えるために、各年のペアのランキング間の相関係数を計算しました。年目を年目、年目を年目、以下同様に年目から年目まで計算しました。これにより、年のペアごとに1つずつ、相関係数が得られました。私は理論を知っていて、スキルの持続の弱い証拠を見つける準備ができていました。それでも、相関の平均がであることに驚いた2 1 3 7 8 28 28 0.01111222111３337778882828282828280.010.010.01。つまり、ゼロ。スキルの違いを示す一貫した相関関係は見つかりませんでした。結果は、技のゲームではなく、サイコロを転がすコンテストに期待する結果に似ていました。社内の誰も、自社のピッカーがプレイしているゲームの性質を認識していないようでした。アドバイザー自身は、彼らが真面目な仕事をしている有能な専門家だと感じ、上司も同意した。 カーネマン氏は続け、金融業界は主にスキルの幻想に基づいていると主張している。 質問：なぜこの例は、金融業界がスキルの幻想に基づいていることを示していますか？異なる年のランキング間の相関関係がストックピッカーの相対的なスキルについて何かを示していることを理解しています。あれは; ストックピッカーのスキルとストックピッカースキルの比較。しかし、なぜそれがグループとしてのピッカーのスキルについて何と言っているのか私にはわかりません。BあAABBB タイガーウッズとまったく同じスキルを持つゴルファーのグループがあるとします。8年間の成功の相関係数を計算する場合、相関もゼロになるはずですが、それは彼らが弱いプレイヤー/スキルがないことを意味するものではありません。

9 regression  time-series  correlation 

単純な回帰モデルがあります（y = param1 * x1 + param2 * x2）。モデルをデータに適合させると、2つの優れたソリューションが見つかります。 ソリューションA、params =（2,7）は、RMSE = 2.5のトレーニングセットで最適です だが！ソリューションB params =（24,20）は、交差検証を行うと、検証セットで大きな成果を上げます。 私はこれが原因だと思います： ソリューションAは悪いソリューションに囲まれています。したがって、ソリューションAを使用する場合、モデルはデータの変動に対してより敏感になります。 ソリューションBはOKソリューションで囲まれているため、データの変更に対する感度が低くなります。 これは私が考案したばかりの新しい理論ですか、良い隣人とのソリューションはあまり適合していませんか？:)） ソリューションAよりもソリューションBを優先するのに役立つ一般的な最適化方法はありますか？ 助けて！

9 regression  cross-validation  overfitting  sensitivity-analysis 

こんにちは私は回帰技法を勉強しています。 私のデータには15の機能と6000万の例（回帰タスク）があります。 多くの既知の回帰手法（勾配ブーストツリー、ディシジョンツリー回帰、AdaBoostRegressorなど）を試したところ、線形回帰は優れたパフォーマンスを示しました。 これらのアルゴリズムの中でほぼ最高のスコアを獲得しました。 これの理由は何ですか？私のデータには非常に多くの例があるので、DTベースの方法はうまく適合できます。 正則化された線形回帰の尾根、なげなわのパフォーマンスが悪い 誰かが他のパフォーマンスの良い回帰アルゴリズムについて教えてもらえますか？ 因数分解マシンとサポートベクター回帰は、試すのに適した回帰手法ですか？

9 regression  modeling  deep-learning  model  cart 

ゼルナーの事前知識は事前情報を設定するためにデータを使用していることを知っていますが、実際にはモデル全体がデータに依存しています。他に理由はありますか？

9 regression  bayesian  uninformative-prior 

これらの両方のような基本的な類似性にもかかわらず、応答変数を直接モデル化するのではなく、成功の確率をモデル化します。これらのモデル間の相違点と類似点を指摘する、より信頼できる答えがあると思います。 1つの違いは、ロジスティックでは、異なるタイプと異なる数の独立変数を使用できることです。一方、IRTモデルでは、能力である独立変数は1つだけです。 もう1つの類似性：ロジスティックのパラメーターを推定するには、最尤法を使用します。IRTでは、パラメーター推定手法の1つとして限界最尤も使用します。 では、これら2つのモデルの統計的/数学的な違いを誰かに説明していただけますか？

9 regression  logistic  mathematical-statistics  irt 

私は現在、ロジスティック回帰について研究しています。しかし、切片（）と係数（）の計算に行き詰まっています。インターネットで探していましたが、Microsoft ExcelまたはRの組み込み関数を使用したチュートリアルしか取得していません。MaximumLikelihoodで解決できると聞いたのですが、使い方がわからないので統計的背景がない。係数を手動で計算するための簡単な説明とシミュレーションを誰かに教えてもらえますか？β0β0\beta_0β1β1\beta_1

9 regression  machine-learning  logistic  maximum-likelihood 

2つの多次元データセットとYが与えられると、主成分分析（PCA）を使用して代理従属変数を作成することにより、多変数分析を実行する人がいます。すなわち、上の実行PCAであるYの第一の構成要素に沿って得点を取り、セットY '、および上にそれらのスコアの重回帰を実行X：Y ' = β X + ε。（私はこの記事を基に質問をしています）。 バツバツXYYYYYYy』y』y'バツバツXy』= βバツ+ ϵy』=βバツ+εy' = \beta X+\epsilon 私には、2つのデータセット間の正規相関分析（CCA）の偽装された形式のように見えます。しかし、この領域に背景がないため、指を置くことができません。だから私の質問は、CCAと比較して、PCA +回帰分析の長所/短所は何でしょうか？ 直感は、CCAはここでより合理的である必要があると言います。なぜなら、説明された分散を盲目的に最大化するのではなく、との相関を最大化するという最終的な目的を念頭に置いて、正規変量を構築するからです。私は正しいですか？ バツバツX 参照：Mei et al。、2010、メタボリックシンドロームコンポーネントの遺伝的関連研究のための主成分ベースの多変量回帰

9 regression  multiple-regression  pca  canonical-correlation 

機能を考える r(x)=E(Y∣X=x)r(x)=E(Y∣X=x) r(x) = \mathbb{E}(Y \mid X = x) これは私が使っている教科書では回帰関数と呼ばれています。この関数と古典的な線形回帰モデルの関係を理解し​​ようとしています。 したがって、私たちが書くことができるのは定理*であることを知っています Y=r(X)+ϵY=r(X)+ϵ Y = r(X) + \epsilon いくつかの確率変数 st。E（ϵ ）= 0ϵϵ\epsilonE(ϵ)=0E(ϵ)=0\mathbb{E}(\epsilon) = 0 ここで、 Y= β0+ β1バツ+ ϵY=β0+β1X+ϵ Y = \beta_0 + \beta_1 X + \epsilon これは、古典的な1次元回帰関数です（とが残差二乗和を最小化すると仮定）。β 1β0β0\beta_0β1β1\beta_1 質問：では、が上記のように定義されている場合、YYY r （X）= E（Y∣ X）= （β0+ β1バツ）？r(X)=E(Y∣X)=(β0+β1X)? r(X) = \mathbb{E}(Y \mid X) …

9 regression  linear-model 

ランダムなサンプルます。{xn,yn}Nn=1{xn,yn}n=1N\lbrace x_n ,y_n \rbrace_{n=1}^N と仮定しますyn=β0+β1xn+εnyn=β0+β1xn+εny_n = \beta_0 + \beta_1 x_n + \varepsilon_n およびy^ん= β^0+ β^1バツんy^n=β^0+β^1xn\hat{y}_n = \hat{\beta}_0 +\hat{\beta}_1 x_n との違いは何ですか？β 1β1β1\beta_1β^1β^1\hat{\beta}_1

9 regression 

彼らの独創的な論文'Least Angle Regression'で、Efron らは、完全なLASSO正則化パスを計算できるようにするLARSアルゴリズムの簡単な修正について説明しています。 私はこのバリアントを正常に実装し、通常、出力パスをステップ数（LARSアルゴリズムの連続反復）または回帰係数のノルム（）ます。l1l1l_1∥β∥1‖β‖1\Vert \beta \Vert_1 それでも、そこにあるほとんどのパッケージは、LASSOペナルティ係数観点から正則化パスを提供しているようです（たとえば、「mode」引数を使用してさまざまな表現を切り替えることができるLARSのLARS）。λλ\lambda 私の質問は、ある表現から別の表現に切り替えるために使用されるメカニズムは何ですか？私はそれに関連するさまざまな質問を見てきました（より具体的には、不等式制約を適切なペナルティ用語）。満足のいく答えは見つかりませんでした。λ ‖ β ‖ 1∥β∥1≤t‖β‖1≤t\Vert \beta \Vert_1 \leq tλ∥β∥1λ‖β‖1\lambda \Vert \beta \Vert_1 [編集] 必要な変換を実行するいくつかのMATLABコードの内部を調べました。各LARSステップ、これは計算方法のようです。λkkkλλ\lambda λ(k)=max(2|XTy|), for k=1λ(k)=max(2|XTy|), for k=1 \lambda(k) = \max( 2 \vert X^T y \vert ),\ \ \ \text{for } k=1 λ(k)=median(2|XTAkrAk|), ∀k>1λ(k)=median(2|XAkTrAk|), ∀k>1 \lambda(k) = \text{median}( 2 \vert X_{\mathcal{A}_k}^T …

9 regression  lasso  regularization  lars 

例えば、回帰予測因子の重要性を評価するための様々な方法の優劣に話す様々な質問があり、この 1は。 このコメントでは、 @ gung がこの実践を「誤ったアイデア」と呼んでいることに気づきました。この主張を支持するこの回答にリンクしています。回答の最後の段落は関連部分です。 この問題はそれ自身の質問に値するに値すると思います、そしてまた、推論のいくつかの側面について少しわかりません。問題の段落の最も重要な部分は 真のrが正確に0でない限り、推定されるrは、使用される共変量の値の範囲によって主に決定されます。 これは、制限された範囲の値とより広い範囲の値をランダムにサンプリングした可能性があるため、重要度を評価するために標準化された係数を使用すべきではないと言うことと同等ですか？次に、この問題を標準化すると、はよりも弱い予測子であると偽って考えてしまいます。バツ1X1X1バツ2X2X2バツ1X1X1バツ2X2X2 真のが正確に0である場合、なぜ問題は解消するのですか？rrr 他の方法（たとえば、セミパーシャル係数を調べる）は、この問題をどのように解決しますか？

9 regression  standardization 

私の同僚と私は、ロジスティック回帰とSVMの違いに頭を抱えようとしています。明らかに、それらは異なる目的関数を最適化しています。SVMは、ヒンジ損失を単に最適化する判別型分類器であると言うほど簡単ですか？それともそれよりも複雑ですか？サポートベクターはどのように機能しますか？スラック変数はどうですか？シグモイドアクティベーション関数を使用したディープニューラルネットワークを構築できないのに、ディープSVMを導入できないのはなぜですか？

9 regression  logistic  svm  max-margin 

MATLABの関数lassoは比較的遅いことがわかりました。私は多くの回帰問題を実行しますが、通常は1から100の予測子と200から500の観測です。場合によっては、投げ縄が非常に遅いことが判明しました（回帰問題を解決するには数分かかりました）。これは、予測子が高度に相関している場合（たとえば、大気モデルの隣接するグリッドポイントでの気温時系列）であることがわかりました。 以下の例のパフォーマンスをmatlabとRで比較しました。 yは163要素（観測値を表す）の予測ベクトルであり、xは100行の予測子行列であり、yの観測値に対応する163観測値です。以下のように、MATLAB関数lassoを適用しました。 [beta_L,stats]=lasso(x,y,'cv',4); Rでも同じで、glmnetを使用します。 fit.lasso=cv.glmnet(predictor.ts,predictand.ts,nfolds=4) MATLABとRはどちらも座標降下アルゴリズムに基づいています。lassoとglmnetの両方のラムダ値の数のデフォルト値は100です。座標降下の収束しきい値は、MATLABでは既定で10 ^ -4であり、R（10 ^ -7）ではさらに低くなっています。 私のコンピューターではR関数が1秒かかります。Matlabは数分かかりますが、ほとんどの計算時間は座標降下アルゴリズムで費やされます。 予測子の相関性が低い場合（数値大気モデルのさまざまな変数タイプなど）、Matlabの投げ縄はそれほど遅くはありませんが、Rの1秒に比べて〜30秒かかります）。 matlab lassoは本当にglmnetよりも非効率的ですか、それとも何かを見逃していますか？

9 regression  feature-selection  regularization