タグ付けされた質問 「regression」

回帰分析の場合、データ生成プロセスを理解して、使用した方法がどのように機能するかを確認すると便利な場合があります。単純な線形回帰でこれを行うのはかなり簡単ですが、従属変数が特定の分布に従う必要がある場合は、これは当てはまりません。 単純な線形回帰を考えます。 N <- 100 x <- rnorm(N) beta <- 3 + 0.4*rnorm(N) y <- 1 + x * beta + .75*rnorm(N) 同じアプローチを使用する方法はありますがy、通常とは異なる方法があると思いますか？

8 r  regression  simulation  random-generation 

これは非常に一般的な質問です。前の観測に基づいて次の観測を予測するモデルを構築したいとします（は実験的に最適化するためのパラメーターにすることができます）。したがって、基本的に、次の観測を予測するための入力フィーチャのスライディングウィンドウがあります。NNNNNN 隠れマルコフモデルのアプローチ、つまりBaum-Welchを使用してモデルを推定し、Viterbiが最後の観測に基づいて現在の状態を予測し、次に現在の状態に基づいて最も可能性の高い次の状態を予測し、次に次の状態を予測します。最も可能性の高い次の状態とHMMパラメーター（または次の観測の予測分布を見つけるなどのバリアント）を使用した観測。NNN または、SVM、線形回帰、スプライン、回帰ツリー、最近傍などのステートレスモデル（入力として以前の観測を取得できる）を使用して、はるかに単純なアプローチを使用することもできます。このようなモデルは、いくつかの予測誤差の最小化に基づいていますしたがって、概念的には、隠れた状態ベースのモデルよりもはるかに単純です。NNN 誰かがそのようなモデリングの選択に対処した彼女/彼の経験を共有できますか？HMMを支持して何を話し、回帰アプローチを支持して何を話しますか？直感的には、過剰適合を避けるために可能な限り単純なモデルを採用する必要があります。これは、ステートレスなアプローチを支持して話します...また、両方のアプローチがトレーニングのために同じ入力データを取得することを考慮する必要があります（これは、非表示の状態モデルのモデリングに追加のドメイン知識を組み込まない場合、たとえば特定の状態と遷移確率を修正します。非表示状態モデルのパフォーマンスが向上する理由はありません）。最後に、もちろん両方のアプローチを試して、検証セットで何がより効果的かを確認できますが、実際の経験に基づくいくつかのヒューリスティックも役立つかもしれません... 注：私にとっては、特定のイベントのみを予測することが重要です。私は、「平均的/頻繁な」イベントを予測するが、興味深いイベントはあまり予測しないモデルよりも、「興味深い/まれな」イベントをほとんど予測しないモデルを好みます。おそらくこれはモデリングの選択に影響を与えます。ありがとう。

8 regression  time-series  modeling  prediction  hidden-markov-model 

R in Action（Kabacoff、2011年）は、ロジスティック回帰の過分散をテストするために次のルーチンを提案しています。 二項分布を使用してロジスティック回帰を近似します。 model_binom <- glm(Species=="versicolor" ~ Sepal.Width, family=binomial(), data=iris) 準二項分布を使用してロジスティック回帰を近似します。 model_overdispersed <- glm(Species=="versicolor" ~ Sepal.Width, family=quasibinomial(), data=iris) カイ二乗を使用して、過剰分散をテストします。 pchisq(summary(model_overdispersed)$dispersion * model_binom$df.residual, model_binom$df.residual, lower = F) # [1] 0.7949171 カイ二乗分布がここで過剰分散のテストに使用されている方法と理由を誰かが説明できますか？p値は0.79です。これは、過剰分散が二項分布モデルの問題ではないことをどのように示しますか？

8 r  regression  distributions  logistic  overdispersion 

化学からベールの法則は、液体の吸光度と言う濃度に比例しているC：そう、 Aは= k個のCを 、次に行うための標準的なものが知られている濃度の溶液のセットを準備することで、「標準を形成するために、吸光度を測定します曲線 '（基本的には検量線）、そしてそのデータに対して単純な線形回帰を行って比例を取得します（これを使用して、未知の溶液の濃度を予測できます）。あAACCCA = k CA=kCA = kC これを行う簡単な方法の1つは、既知の濃度から開始して段階希釈を実行することです。これにより、2倍希釈、4倍、8倍、16倍などが得られます。つまり、あなたがの溶液で開始した場合にあなたが持つソリューション取得したい50 μ G / M L、25 μ G / M L、12.5 μ G / M Lなどを...100 μ G / M L100μg/mL100\mu \mathrm g/\mathrm {mL}50 μ G / M L50μg/mL50\mu \mathrm g/\mathrm {mL}25 μ G / M L25μg/mL25\mu \mathrm g/\mathrm {mL}12.5 …

8 regression 

現在のプロジェクトでは、特定のグループの行動を予測するモデルを構築する必要があるかもしれません。トレーニングデータセットには6つの変数のみが含まれます（idは識別目的のみです）。 id, age, income, gender, job category, monthly spend その中で monthly spend応答変数です。ただし、トレーニングデータセットには約300万行が含まれid, age, income, gender, job category、予測されるデータセット（応答変数は含まれるが、含まれない）には100万行が含まれます。私の質問は、統計モデルにあまりにも多くの行（この場合は300万行）を投げた場合に潜在的な問題はありますか？計算コストが懸念事項の1つであることを理解していますが、他に懸念事項はありますか？データセットのサイズの問題を完全に説明している本/紙はありますか？

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

回帰を実行しようとして失敗したデータセットがあります。 状況： 何千人ものバトルロボットオペレーターが、バトルロボットを使用して互いに戦います。 戦闘ロボットの中には、強力で強力なものもあれば、弱いものもあります。強いものはより頻繁に勝ち、より多くのダメージを与えます。 ロボットオペレーターのスキルはさまざまで、スキルの高いオペレーターが勝つ頻度が高く、より多くのダメージを与えます 彼らの戦いの結果に関するいくつかの要約情報がありますが、詳細のすべてではありません。 彼らが戦闘で使用した戦闘ロボットとその回数（勝利した戦闘の数を含む）、および彼らが与えた合計ダメージ（2種類のダメージAとダメージB）がわかります 一部のロボットはダメージAを与えるのが得意ですが、他のロボットはダメージBを与えます。 戦闘で使用したロボット（およびその回数）のみに基づいて不明な戦闘ロボットオペレーターの場合、達成できる各種類のダメージの量と、勝った可能性が最も高い戦闘の割合（％）を推定します 例えば： ジョンはロボットAを4戦、ロボットBを2戦使用し、240ユニット分のダメージを与えました ジェームズはロボットAを1戦、ロボットBを10戦使用し、1010ユニット分のダメージを与えました したがって、ロボットAはおそらく1戦あたり10ユニットのダメージAを与える一方、ロボットBは1戦あたり100ユニットのダメージAを与えると見積もることができるため、2つのロボットのそれぞれをプレイしただけのマシューによって与えられたダメージAを見積もるそれぞれ2戦、220 ==（10 * 2 + 100 * 2）と推定されます。 残念ながら、実際のデータはそれほどクリーンで簡単ではありません。 ロボットオペレーターのスキルには大きな違いがあります。たとえば、優れたオペレーターはロボットAに20ユニットのダメージを与え、悪いオペレーターは5ユニットしかダメージを与えることができません。 小さなサンプルの場合、対戦相手が引き寄せられるため、ランダムな差異があります（たとえば、誰かが強い対戦相手を引き、対戦相手よりも優れたロボットを持っているにもかかわらず負けます）。 最高のロボットオペレーターが最高のロボットを選んでより頻繁に戦闘に参加するという点で、いくつかのマイナーな選択バイアスがあるかもしれません 実際のデータセットはこちらから入手できます（既知の戦闘オペレーターの結果の63万件）。 http://goo.gl/YAJp4O データセットは次のように構成され、行ごとに1つのロボットオペレーターエントリがあります。 ラベルのない列1-オペレーターID 戦闘-このオペレーターが参加した戦闘の合計 勝利-このオペレーターが獲得した合計戦闘数 敗北-このオペレーターが負けた合計戦闘数 DamageA-与えられたダメージAポイントの合計 DamageB-与えられたダメージBポイントの合計 次の130組の列： battles_ [robotID]-ロボット[robotID]を使用した戦闘 victories_ [robotID]-ロボット[robotID]を使用して獲得した勝利 これまでに行ったこと： R biglmパッケージを使用していくつかの線形モデルをdamageA ~ 0 + battles_1501 + battles_4201 + ...試して、ロボットごとに「期待される」値のフィッティングを取得するなどの式を作成しました。 同じですが0 …

8 r  regression  predictive-models  linear-model 

次のテーブルがあります R df <- structure(list(x = structure(c(12458, 12633, 12692, 12830, 13369, 13455, 13458, 13515), class = "Date"), y = c(6080, 6949, 7076, 7818, 0, 0, 10765, 11153)), .Names = c("x", "y"), row.names = c("1", "2", "3", "4", "5", "6", "8", "9"), class = "data.frame") > df x y 1 2004-02-10 …

8 r  regression  linear-model  robust 

とにかく、Rで負の二項回帰を使用してLASSOを実行できますか？データが分散しすぎてポアソン回帰を適用できないため、データセットで負の二項回帰を実行しています。その間、多重共線性の問題にも直面しています。私はすでにで使用しようとしglmnetましたfamily = poissonが、データはあまりうまく適合していません（アルファ= 0とアルファ= 1の両方）...この大きなデータの混乱を分析するために何をすべきか正直にわかりません：/ ありがとうございました 編集：これは負の二項適合の分散共分散表です 8.392729e+18 1.239178e+06 -3.624090e+05 1.896258e+17 -3.702521e+17 1.239178e+06 1.119052e-04 5.201989e-06 -1.877590e+05 -2.558095e+05 -3.624090e+05 5.201989e-06 5.179343e-06 -8.021543e+04 -1.436381e+05 1.896258e+17 -1.877590e+05 -8.021543e+04 2.193290e+17 6.413947e+16 -3.702521e+17 -2.558095e+05 -1.436381e+05 6.413947e+16 2.142183e+17

8 r  regression  generalized-linear-model 

2つの3レイヤーフィードフォワードマルチレイヤーパーセプトロン（MLP）を使用しています。同じ入力データ（14個の入力ニューロン）を使用して、1つの分類（true / false）と1つの回帰（trueの場合は「どのくらい」）を行います¹。これまでは、Matlabsのpatternnetとfitnetをそれぞれ遅延して使用してきました。怠惰です。何が起こっているのかを本当に理解するのに時間をかけていなかったからです。さらに、OSSライブラリ（おそらくFANN）に移行する必要があります。これには、Matlab NN Toolboxよりも多くの手動設定が必要になる可能性があります。したがって、私は何が起こっているのかをより正確に理解しようとしています。 ネットワークにより作成されたpatternnetとfitnetほぼ同一である：14個の入力ニューロン、11個の隠されたニューロン、1個の標的ニューロン（2ためのfitnet情報のが、唯一1個）。しかし、それらは完全に同一ではありません。デフォルトの違いは次のとおりです。 Matlabは、分類ネットワークにスケーリングされた共役勾配逆伝播を使用し（patternnet）、回帰ネットワークにLevenberg-Marquardt逆伝播を使用します（fitnet）。 分類ネットワークは、入力層と非表示層の間、および非表示層と出力層の間で双曲線正接シグモイド伝達関数を使用します。回帰ネットワーク（fitnet）は、入力層と非表示層の間の双曲線正接シグモイド伝達関数と、非表示層と出力層の間の純粋な線形伝達関数を使用します。 それらの違いはありますか？ 分類にはどのような逆伝播関数が最適で、回帰にはどのような種類の関数が最適ですか？なぜですか？ 分類にはどのような伝達関数が最適で、回帰にはどのような種類の伝達関数が最適ですか？なぜですか？ ¹ 分類が「曇り」または「クラウド・フリー」（2つの相補的ターゲット）のためである、回帰は、「どのくらいの雲」（1ターゲット）を定量化するためのものです。

8 regression  machine-learning  backpropagation 

quantregパッケージを使用して、Rで分位点回帰を実行しています。データセットには、0.12から330までの範囲の12,328の観測が含まれています。データのタイムポイントは正確に連続的ではありません。すべてのデータは、73から397までの数十のビンの1つに分類されます。 lm（）関数を使用してこのデータに線形回帰を実行すると、最大4の多項式でこれを行うことができました。 lm(Y~poly(X,3,raw=TRUE),data=mydata) ただし、パッケージquantregとrq（）コマンドでは、多項式を使用できません。単純な回帰は問題なく機能します。 rq(Y~X,data=mydata,tau=.15) しかし、私が多項式に入るとすぐに、サイコロはありません。これを入力すると： rq(Y~poly(X,2,raw=TRUE),data=mydata,tau=.15) 次のエラーメッセージが表示されます。 Error in rq.fit.br(x, y, tau = tau, ...) : Singular design matrix 私は特異行列について読みましたが、これには2つの理由があると思います。（1）各軸に1つの変数しかない、または（2）データがビニングされている、またはY変数が本当に連続的ではない。 このエラーが発生する理由を誰かに教えてもらえますか？ PS-これはグラフがどのように見えるかです：

8 r  regression 

負の二項回帰（負の二項GLM）を使用してモデルを作成しようとしています。サンプルサイズが比較的小さく（300を超える）、データがスケーリングされていません。適合度を測定するには2つの方法があることに気付きました。1つは逸脱度であり、もう1つはピアソン統計です。使用する適合度の測定値をどのように決定できますか？適合度測定を選択する際に検討できる基準はありますか？

8 regression  generalized-linear-model  chi-squared  deviance 

常に正である必要がある線形回帰の応答変数（クリックあたりのコスト）を予測しようとしています。金額です。アドワーズ広告では、広告のクリックに対してグーグルに支払い、負の数は、人々がクリックしたときにグーグルに支払いをすることを意味します：P 予測子はすべて連続値です。RsquaredとRMSEは、サンプル外であっても、他のモデルと比較するとまともです。 RMSE Rsquared 1.4141477 0.8207303 それはお金なので、予測を再調整することはできません。そのため、小さな再調整係数でもコストを大幅に変更する可能性があります。 私が理解している限り、回帰モデルについては、ゼロと負の数について特別なことは何もないため、出力が部分的に負であるかどうかに関係なく、最適な回帰超平面を見つけます。 これは私が持っているすべての変数を使用して、非常に最初の試みです。したがって、改善の余地があります。 出力を負にすることはできないことをモデルに伝える方法はありますか？

8 regression  predictive-models 

5-6kの変数で回帰問題があります。データを重複しない3つのセット（トレーニング、検証、テスト）に分割します。私はトレーニングセットのみを使用してトレーニングを行い、モデルごとに異なる200変数のセットを選択することで、多くの異なる線形回帰モデルを生成します（このようなサブセットを約100k試します）。モデルにとしてスコアを付け。この基準を使用して、最終的にモデルを選択します。選択したモデルは、トレーニングデータと検証データで非常に類似したR ^ 2を持っていることがわかります。ただし、このデータをテストデータで試した場合、R ^ 2ははるかに低くなります。だから私は、トレーニングと検証データの両方に何らかの形で過剰適合しているようです。より堅牢なモデルを取得するにはどうすればよいですか？ 分（R2訓練データ、R2検証データ）min(Rtraining data2,Rvalidation data2)\min(R^2_{\text{training data}}, R^2_{\text{validation data}})R2R2R^2R2R2R^2 トレーニングデータのサイズを増やしてみましたが、効果がありませんでした。おそらく、各サブセットのサイズを縮小することを考えています。 正則化を使用してみました。ただし、投げ縄または弾性ネットを使用して取得したモデルは、サブセット選択アプローチを実行して取得したモデルと比較して、トレーニングセットと検証セットのR ^ 2がはるかに低くなっR2R2R^2ています。したがって、これらのモデルは考慮しません。モデルAがトレーニングセットと検証セットの両方でモデルBよりも優れている場合、モデルAはモデルBよりも明らかに優れていると想定しているためです。これに同意しません。 関連して、R2R2R^2は私のモデルを選択するための悪い基準だと思いますか？

8 regression  cross-validation  model-selection  r-squared  overfitting 

したがって、lmの重み関数は、関連する観測の「重み」値が大きいほど観測に重みを与えるように思えますが、lmeのlme関数は正確に反対です。これは簡単なシミュレーションで確認できます。 #make 3 vectors- c is used as an uninformative random effect for the lme model a<-c(1:10) b<-c(2,4,6,8,10,100,14,16,18,20) c<-c(1,1,1,1,1,1,1,1,1,1) ここで、lmの従属変数の逆数に基づいて観測値に重み付けするモデルを実行する場合、逆数をとらずに、従属変数だけで重み付けした場合にのみ、nlmeでまったく同じ結果を生成できます。 summary(lm(b~a,weights=1/b)) summary(lme(b~a,random=~1|c,weights=~b)) これを反転して、逆が真であることを確認できます。lmでweights = bを指定すると、一致するlme結果を取得するにはweights = 1 / bが必要です。 だから、私はこれをよく理解しています。あることについて検証し、別のものについて質問したいだけです。 従属変数の逆に基づいてデータに重みを付けたい場合、lme内でweights =〜（従属変数）をコーディングするだけで問題ありませんか？ lmeがlmとはまったく異なる重みを処理するように書かれているのはなぜですか？混乱を引き起こす以外に、これの目的は何ですか？ どんな洞察もいただければ幸いです！

8 r  regression  mixed-model  weighted-regression 

13か国の特定の政策分野に対する人々の態度に関するカテゴリー調査データがあります。応答変数はカテゴリ型であり、順序付けできない4つの異なる回答が含まれています。 マルチレベルのランダム切片とランダムスロープの多項式モデルを構築したいと思います。問題は、レベル2のケースの数が13であり、モデルが少なくとも多項式の形では収束しないことです。 したがって、次善のオプションとして、応答変数をバイナリ形式に再コード化し、一連のマルチレベルのロジスティック回帰を実行し、予測確率を使用して、特定の関心のあるカテゴリが選択される確率がどのように依存するかを示します私の説明変数について。これは明らかに、次善の策にすぎません。このアプローチをとることで起こり得るリスクは何か、そして（査読者、監督者などから）どのような反論を期待すべきか知りたいのですが。

8 regression  logistic  multinomial