タグ付けされた質問 「regression」

Rで因子がどのように機能するかを理解しようとしています。Rのサンプルデータを使用して回帰を実行するとします。 > data(CO2) > colnames(CO2) [1] "Plant" "Type" "Treatment" "conc" "uptake" > levels(CO2$Type) [1] "Quebec" "Mississippi" > levels(CO2$Treatment) [1] "nonchilled" "chilled" > lm(uptake ~ Type + Treatment, data = CO2) Call: lm(formula = uptake ~ Type + Treatment, data = CO2) Coefficients: (Intercept) TypeMississippi Treatmentchilled 36.97 -12.66 -6.86 私はそれを理解しTypeMississippi、Treatmentchilledブール値として扱われます。各行の最初の取り込みは36.97で12.66あり6.86、それがミシシッピ型であるかどうか、および冷却されているかどうかを差し引きます。私はこのようなものを理解するのに苦労しています： > …

10 r  regression  interaction 

でこの質問、彼らは（例えば、女性対男性のように）二つの独立したグループのためのピアソンrを比較する方法を尋ねます。返信とコメントは2つの方法を提案しました： rの「z変換」を使用して、フィッシャーのよく知られた式を使用します。 勾配の比較を使用します（回帰係数）。 後者は、飽和線形モデルを介して簡単に実行できます 。ここで、とは相関変数で、は2つのグループを示すダミー（0対1）変数です。（相互作用項係数）の大きさは、モデルが2つのグループで個別に実行され後の係数の差であり、その（）の有意性は、グループ間の勾配の差の検定です。Y= a + b X+ c G + dバツGY=a+bバツ+cG+dバツGY = a + bX + cG + dXGバツバツXYYYGGGdddbbbY= a + b XY=a+bバツY = a + bXddd さて、勾配または回帰係数。まだ相関係数ではありません。しかし、我々は標準であればとYを - 別に二つのグループに-そして、dは差に等しくなりますグループ1のRマイナスRグループ0で、したがって、その意義は、2つの相関の違いをテストします：我々しているテストの斜面が、相関関係をテストしているように見えます。バツバツXYYYddd 私が書いたのは正しいですか？ はいの場合、相関のより良いテストである質問が残っています-これは説明されたものですか、それともフィッシャーの質問ですか？それらは同じ結果をもたらさないからです。どう思いますか？ 後で編集：@Wolfgangの返信に感謝しますが、フィッシャーのテストが上記の標準化された勾配の比較アプローチよりもrのテストの方が正しい理由を理解できないと思います。したがって、より多くの回答を歓迎します。ありがとうございました。

10 regression  correlation  hypothesis-testing 

オフセットを使用するかどうかについて質問があります。ホッケーのゴールの（全体的な）数を記述したい非常に簡単なモデルを想定します。つまり、ゴール、プレイしたゲームの数、およびダミー変数「ストライカー」があり、プレーヤーがストライカーの場合は1、それ以外の場合は0になります。次のモデルのどれが正しく指定されていますか？ Goals = games + striker、または ゴール=オフセット（ゲーム）+ストライカー 繰り返しになりますが、目標は全体的な目標であり、ゲームの数は1人のプレーヤーの全体的なゲームです。たとえば、100ゲームで50ゴールを獲得したプレーヤーと、50ゲームで20ゴールを獲得した別のプレーヤーがいる場合などです。 目標の数を見積もるにはどうすればよいですか？ここでオフセットを使用する必要がありますか？ 参照： 一般にポアソン回帰でオフセットを使用する場合について説明しているこの前の質問を参照してください。

10 r  regression  poisson-distribution  generalized-linear-model  count-data 

これを説明するのはかなり難しいですが、問題を理解できるようにしようと思います。したがって、最初に、これまで非常に単純な線形回帰を行ったことを知っておく必要があります。係数を推定する前に、分布を観察しました。左に曲がって重いです。モデルを推定した後、QQ-Plotに左スキューの残差が確かにあるのを確認できましたが、絶対に確認できませんでした。このソリューションの理由は何でしょうか？間違いはどこですか？または、分布はエラー項の分布とは関係ありませんか？yyyyyy

10 regression  residuals  skewness 

二次回帰モデル があり、エラーが通常の仮定（独立、正規、値の独立）を満たしているとします。ましょう最小二乗推定なります。Y=β0+β1X+β2X2+ϵY=β0+β1X+β2X2+ϵ Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \epsilon ϵϵ\epsilonXXXb0,b1,b2b0,b1,b2b_0, b_1, b_2 2つの新しい値とがあり、信頼区間を取得することに興味があります。XXXx1x1x_1x2x2x_2v=E(Y|X=x2)−E(Y|X=x1)=β1(x2−x1)+β2(x22−x21)v=E(Y|X=x2)−E(Y|X=x1)=β1(x2−x1)+β2(x22−x12)v = E(Y|X = x_2) - E(Y|X=x_1) = \beta_1 (x_2 - x_1) + \beta_2 (x_2^2 - x_1^2) 推定点はであり、（間違っている場合は修正してください）分散を推定できますは、ソフトウェアによって提供される係数の分散および共分散推定値を使用します。v^=b1(x2−x1)+b2(x22−x21)v^=b1(x2−x1)+b2(x22−x12)\hat{v} = b_1 (x_2 - x_1) + b_2 (x_2^2 - x_1^2)s^2=(x2−x1)2Var(b1)+(x22−x21)2Var(b2)+2(x2−x1)(x2−x21)Cov(b1,b2)s^2=(x2−x1)2Var(b1)+(x22−x12)2Var(b2)+2(x2−x1)(x2−x12)Cov(b1,b2)\hat{s}^2 = (x_2 - x_1)^2 \text{Var}(b_1) + …

10 regression  confidence-interval 

約25の湖で、0 cm（つまり、堆積物-水界面）から9 cmまでの湖底堆積物中の有機物の割合に関するデータがあります。各湖で2つのコアが各場所から取得されたため、各湖の各堆積物深さでの有機物比率の2つの反復測定値があります。 有機物パーセントと堆積物の深さ（つまり、傾斜）の関係で湖がどのように異なるかを比較することに興味があります。一部の湖では、有機物パーセントと堆積物深さの関係は線形に見えますが、他の場合では、関係はより複雑です（以下の例を参照）。 私の最初の考えは、曲線が「主に」線形である場合は、曲線全体または曲線のサブセットのいずれかに適切な線形関係を当てはめ、有意な線形関係が見つかった湖のみを比較することでした。ただし、線形モデルに適合しない以外の理由でデータを削除する必要があり、有機物パーセントと堆積物の深さの関係に関する潜在的に興味深い情報を無視するという点で、このアプローチには不満です。 異なる湖からの曲線を要約して比較する良い方法は何でしょうか？ ありがとうございました 曲線の例：すべての場合において、y軸は堆積物中の有機物の割合であり、x軸は堆積物深さです。ここで、0 =堆積物と水の界面です。 良い線形の例： 2つの非線形の例： 明らかな関係のない例：

10 regression  nonlinear-regression 

ご挨拶、 観測された空間のサイズとビッグバンからの経過時間を決定するのに役立つ調査を行っています。うまくいけば、あなたは助けることができます！ 2つの線形回帰を実行する区分線形関数に準拠するデータがあります。傾きと切片が変化するポイントがあり、このポイントを見つける（プログラムを作成する）必要があります。 考え？

10 regression  change-point 

以下のために台、テーブルの上に推論を行うには、2つの方法はまた、フィッシャーの正確確率検定とロジスティック回帰を介して行われます。2 × 22×22 \times 2 フィッシャーの厳密検定を使用すると、私たちは関連の存在にのみ関心があると言われました。しかし、ロジスティック回帰では、関連の大きさに関心があります。 しかし、その理由はわかりません。たとえば、Rで行われるフィッシャーの正確検定では、信頼区間でオッズ比が返されますが、ロジスティック回帰では切片と勾配が返されます。どちらも対数オッズと対数オッズに対応しています。比。 私の質問は、ロジスティック回帰が関連性の大きさをどこにもたらすかです。係数内にあると想定していますが、これは対数オッズ比であり、フィッシャーの正確検定でも同様です。違いは何ですか？β1β1\beta_1

10 regression  logistic  inference  contingency-tables  fishers-exact 

私が読んでいることから、とりわけUCLA統計コンサルティンググループの尤度比テストとウォルドテストのサイトでは、2つのglmモデルがデータセットの適合度に有意差を示すかどうかをテストすることは非常に似ています（言い訳少しずれているかもしれません）。本質的に、2つのモデルを比較して、2番目のモデルが最初のモデルよりもはるかに良い適合を示しているか、モデル間に違いがないかをテストできます。 そのため、LRテストとWaldテストは、同じ回帰モデルに対して同じ大まかなp値を示すはずです。少なくとも同じ結論が出るはずです。 今、私はRで同じモデルに対して両方のテストを行い、大きく異なる結果を得ました。これは、1つのモデルに対するRの結果です。 > lrtest(glm(data$y~1),glm(data$y~data$site_name,family="poisson")) Likelihood ratio test Model 1: data$y ~ 1 Model 2: data$y ~ data$site_name #Df LogLik Df Chisq Pr(>Chisq) 1 2 -89.808 2 9 -31.625 7 116.37 < 2.2e-16 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 > …

10 r  regression  likelihood-ratio 

私はさまざまな場所で見た線形回帰法についての主張を誤解しているようです。問題のパラメーターは次のとおりです。 入力： NNNそれぞれ「応答」量と 「予測」量から構成される量のデータサンプルp+1p+1p+1yiyiy_ipppxijxijx_{ij} 望ましい結果は「良好な線形適合」であり、これは予測子に基づいて応答を予測し、良好な適合は予測と観測された応答（他の基準の中で）との間にわずかな違いがあります。 出力：係数 whereは、予測変数から応答量を予測するための「適切な適合」です。 p+1p+1p+1βjβj\beta_jβ0+∑pj=1xij∗βjβ0+∑j=1pxij∗βj\beta_0 + \sum_{j=1}^p x_{ij} * \beta_j この問題に対する "リッジ回帰"アプローチについて混乱しています。Hastie、Tibshirani、およびFriedmanの63ページの「Elements of Statistical Learning」では、リッジ回帰が2つの方法で定式化されています。 まず、制約付き最適化問題として： P Σ J = 1 β 2 I ≤Targminβ∑i=1N(yi−(β0+∑j=1p(xij∗βj)))2argminβ∑i=1N(yi−(β0+∑j=1p(xij∗βj)))2 {argmin}_\beta \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 } 制約を受ける いくつかの正のパラメータt。∑j=1pβ2i≤t∑j=1pβi2≤t \sum_{j=1}^p \beta_i^2 \leq t 2つ目は、ペナルティ付きの最適化問題です： 、いくつかの正のパラメータです。 …

10 regression  ridge-regression 

宿題では、投げ縄回帰を使用する予測子を作成/トレーニングするためのデータが与えられました。予測子を作成し、scikit learnのlasso pythonライブラリを使用して予測子をトレーニングします。 だから今私は与えられた入力が出力を予測できるというこの予測因子を持っています。 2番目の質問は、「ブートストラップメソッドを使用して予測の信頼区間を報告するように予測子を拡張する」ことでした。 私は周りを見回して、平均や他のことのためにこれをしている人々の例を見つけました。 しかし、私は予測のためにそれを行うにはどうすればよいのか全くわからない。scikit-bootstrapライブラリを使用しようとしています。 コースのスタッフは非常に無反応なので、どんな助けでもありがたいです。ありがとうございました。

10 regression  machine-learning  self-study  confidence-interval  bootstrap 

私は、ロジスティック回帰とランダムフォレストを使用して、ローンのデフォルトの確率を分析しています。 私がロジスティック回帰を使用する場合、予測は常にすべて1です（これはローンが良いことを意味します）。私はこれを見たことがなく、問題を解決するためにどこから始めればよいかわかりません。60万行の22列があります。列の数を減らすと、ロジスティック回帰で同じ結果が得られます。 なぜロジスティック回帰はそれほど間違っているのでしょうか？ **Actual from the data** 0 : 41932 1 : 573426 **Logistic regression output** prediction for 1 when actually 0: 41932 prediction for 1 when actually 1:573426 A**s you can see, it always predicts a 1** **Random forests does better:** actual 0, pred 0 : 38800 actual 1, …

10 regression  logistic  predictive-models  unbalanced-classes  scoring-rules 

8つの独立変数と1つの従属変数があります。私は相関行列を実行しましたが、そのうちの5つはDVとの相関が低くなっています。次に、段階的多重回帰を実行して、IVの一部またはすべてがDVを予測できるかどうかを確認しました。回帰は、2つのIVだけがDVを予測できることを示し（ただし、分散の約20％しか説明できない）、SPSSはモデルから残りを削除しました。私の監督者は、相関の強さが原因で、回帰モデルでより多くの予測子を見つけるべきだったため、回帰を正しく実行していないと考えています。しかし、相関関係は小さかったので、私の質問は次のとおりです。IVとDVがほとんど相関しない場合でも、IVは依然としてDVの優れた予測因子になり得ますか？

10 regression  correlation  statistical-significance  feature-selection  predictor 

順序回帰とランク付けの両方で、順序付けられた従属変数から学習しているので、私の質問は次のとおりです。 序数回帰問題とランク付け問題の学習の定式化（ある場合）の違いは何ですか？

10 regression  ordinal-data  ranking 

時系列にはありますが場所ごとにグループ化された数万の観測があります。例えば： location date observationA observationB --------------------------------------- A 1-2010 22 12 A 2-2010 26 15 A 3-2010 45 16 A 4-2010 46 27 B 1-2010 167 48 B 2-2010 134 56 B 3-2010 201 53 B 4-2010 207 42 私は月かどうかを確認したいのxさんは、observationA月との任意の線形の関係があるのx + 1つのをobservationB。 私はいくつかの調査を行い、zoo関数を見つけましたが、グループごとの遅延を制限する方法がないようです。したがって、動物園を使用しobservationB、1行遅れている場合observationB、場所Bが最初になり、場所Aが最後になりますobservationB。私はむしろ、「この行に触れないでください」を示す最初observationBの場所NAまたは他の明白な値を設定したいと考えています。 私が得ているのは、Rでこれを行う組み込みの方法があるかどうかです。そうでない場合は、標準のループ構造でこれを実行できると思います。それともデータを操作する必要がありますか？

10 r  regression  time-series  lags