タグ付けされた質問 「model-selection」

モデルの選択は、あるセットのどのモデルが最もよく機能するかを判断する際の問題です。一般的な方法は次のとおりですR2、AICおよびBICの基準、テストセット、および相互検証。ある程度、特徴選択はモデル選択の副問題です。

1
適切な相関構造を持つモデルにも自己相関残差パターンが残っていますか?また、最適なモデルを選択する方法はありますか?
環境 この質問ではRを使用していますが、一般的な統計の問題に関するものです。 私は、幼虫の個体数を年に1回、8年間にわたって12箇所からサンプリングした、ガの個体数の成長率に対する死亡率(病気と寄生による死亡率)の影響を分析しています。人口増加率データは、時間の経過とともに明確だが不規則な周期的傾向を示しています。 単純な一般化線形モデルからの残差(成長率〜%disease +%parasitism + year)は、同様に明確ではあるが不規則な周期的傾向を経時的に示しました。したがって、同じ形式の一般化最小二乗モデルも、複合対称性、自己回帰プロセス次数1、自己回帰移動平均相関構造などの時間的自己相関に対処するために、適切な相関構造でデータに適合しました。 モデルはすべて同じ固定効果を含み、AICを使用して比較され、REMLによって適合されました(AICによる異なる相関構造の比較を可能にするため)。Rパッケージnlmeとgls関数を使用しています。 質問1 GLSモデルの残差は、時間に対してプロットしたときに、ほぼ同じ周期的なパターンを表示します。自己相関構造を正確に説明するモデルであっても、そのようなパターンは常に残りますか? 2番目の質問の下で、Rのいくつかの単純化された類似のデータをシミュレートしました。これは、モデル残差の時間的に自己相関するパターンを評価するために必要なメソッドの現在の理解に基づいて問題を示していますが、これは間違っていることがわかっています(回答を参照)。 質問2 考えられるすべての相関構造を持つGLSモデルをデータに適合させましたが、実際には相関構造のないGLMよりも実質的に良好な適合はありません:1つのGLSモデルだけがわずかに優れています(AICスコア= 1.8低い)より高いAIC値。ただし、これはすべてのモデルがGLSモデルが明らかにはるかに優れているMLではなくREMLによって適合されている場合にのみ当てはまりますが、統計書から、REMLを使用して異なる相関構造と同じ固定効果を持つモデルを比較する必要があることを理解していますここでは詳しく説明しません。 明らかに時間的に自己相関するデータの性質を考えると、単純なGLMよりも適度に優れたモデルがない場合、適切な方法を使用していると仮定して、推論に使用するモデルを決定する最も適切な方法は何ですか(最終的に使用したい異なる変数の組み合わせを比較するAIC)? 適切な相関構造を持つモデルと持たないモデルの残差パターンを調査するQ1「シミュレーション」 「時間」の周期的効果と「x」の正の線形効果を持つシミュレートされた応答変数を生成します。 time <- 1:50 x <- sample(rep(1:25,each=2),50) y <- rnorm(50,5,5) + (5 + 15*sin(2*pi*time/25)) + (x/1) yは、ランダムな変動を伴う「時間」にわたって周期的な傾向を表示する必要があります。 plot(time,y) そして、ランダムな変動を伴う「x」との正の線形関係: plot(x,y) 「y〜時間+ x」の単純な線形加法モデルを作成します。 require(nlme) m1 <- gls(y ~ time + x, method="REML") モデルは、予想されるように、「時間」に対してプロットされると、残差に明確な周期的パターンを表示します。 plot(time, m1$residuals) …

2
相関行列を使用して回帰の予測変数を選択していますか?
数日前、私の心理学者である私の研究者は、線形回帰モデルに変数を選択する彼の方法について私に話しました。私はそれは良くないと思いますが、他の誰かに確かめてもらう必要があります。メソッドは次のとおりです。 すべての変数(従属変数Yを含む)間の相関行列を見て、Yと最も相関する予測子Xを選択します。 彼は基準について言及しなかった。 Q:彼は正しかったですか? [この予測方法は間違っていると思う。なぜなら、どの予測変数を選択すべきか、あるいは変数バイアス(OVB)を省略すべきだという理論だからだ。]

3
不均衡なデータセットのROC対精度-再現率曲線
私はこの議論を読み終えました。彼らは、PR AUCが不均衡なデータセットのROC AUCよりも優れていると主張しています。 たとえば、テストデータセットには10​​個のサンプルがあります。9個のサンプルが陽性で、1個が陰性です。私たちはすべてを肯定的に予測する恐ろしいモデルを持っています。したがって、TP = 9、FP = 1、TN = 0、FN = 0というメトリックが得られます。 次に、精度= 0.9、再現率= 1.0。精度と再現率はどちらも非常に高いですが、分類子が不十分です。 一方、TPR = TP /(TP + FN)= 1.0、FPR = FP /(FP + TN)= 1.0。FPRは非常に高いため、これは適切な分類器ではないことがわかります。 明らかに、ROCは不均衡なデータセットのPRよりも優れています。誰かがPRの方が良い理由を説明できますか?


1
Kaggleのプライベートリーダーボードは、受賞モデルのサンプル外のパフォーマンスの良い予測因子ですか?
プライベートテストセットの結果を使用してモデルをさらに絞り込むことはできませんが、プライベートテストセットの結果に基づいて実行される膨大な数のモデルからモデルを選択することはできませんか?そのプロセスだけで、プライベートテストセットに過剰適合することはありませんか? Bailey et.al.による「擬似数学と金融の特性主義:サンプル外のパフォーマンスに対するバックテストの過剰適合の影響」によると。同じデータセットで評価された多数のモデルから最良のものを選択する場合、「オーバーフィット」するのは比較的簡単です。Kaggleのプライベートリーダーボードではそれは起こりませんか? プライベートリーダーボードで最高のパフォーマンスを発揮するモデルが、サンプル外のデータに最高のモデルを一般化するモデルであるための統計的正当性は何ですか? 企業は実際に勝利モデルを使用することになりますか、それとも「ゲームのルール」を提供するためだけにプライベートリーダーボードがありますか。実際、企業は問題の議論から生じる洞察にもっと興味がありますか?

1
ARIMA順序の定義に関する問題
これは長い投稿なので、あなたが私と一緒に耐えられることを願っています、そして私が間違っているところで私を修正してください。 私の目標は、3週間または4週間の履歴データに基づいて毎日の予測を作成することです。 データは、変圧器ラインの1つのローカル負荷の15分のデータです。季節のARIMAプロセスのモデル次数を見つけるのに問題があります。電力需要の時系列を考慮します。 元の時系列http://i.share.pho.to/80d86574_l.png 最初の3週間をサブセットとして取得し、差を付けると、次のACF / PACFプロットが計算されます。 サブセットhttp://i.share.pho.to/5c165aef_l.png 最初の違いhttp://i.share.pho.to/b7300cc2_l.png 季節的な違いと最初の違いhttp://i.share.pho.to/570c5397_l.png これは、シリーズが少し静止しているように見えます。しかし、季節性は週単位でもあります(季節差の週と2次の差[こちら] http://share.pho.to/3owoqをご覧ください。) したがって、モデルは次の形を取ると結論付けましょう: A R IMA (p 、1 、q)(P、1 、Q )96AR私MA(p、1、q)(P、1、Q)96 ARIMA(p,1,q)(P,1,Q)_{96} 最後の図では、ラグ96での明確なスパイクは、季節的なMA(1)コンポーネントを示しています(PACFにも明確なスパイクがあるので、AR(1)も同様である可能性があります)。ラグ1:4のスパイクは、PACFの指数関数的な減衰に対応するMA(4)コンポーネントを示しています。したがって、手動で選択される初期モデルは次のようになります withA R IMA (0 、1 、4 )(0 、1 、1 )96AR私MA(0、1、4)(0、1、1)96 ARIMA(0,1,4)(0,1,1)_{96} Series: x ARIMA(0,1,4)(0,1,1)[96] Coefficients: ma1 ma2 ma3 ma4 sma1 -0.2187 -0.2233 -0.0996 -0.0983 -0.9796 s.e. 0.0231 …

7
「最適」および相互検証という用語で使用される「最適」の定義は何ですか?
非線形関数を一連の点に当てはめると(各横座標に1つの縦座標しかないと仮定して)、結果は次のいずれかになります。 小さな残差を持つ非常に複雑な関数 大きな残差を持つ非常に単純な関数 通常、クロス検証は、これらの2つの両極端間の「最良の」妥協点を見つけるために使用されます。しかし、「最高」とはどういう意味ですか?それは「最も可能性が高い」ですか?最も可能性の高いソリューションが何であるかをどのように証明し始めますか? 私の内なる声は、CVが何らかの最小エネルギーソリューションを見つけていることを教えてくれます。これにより、統計と物理学の両方で発生するエントロピーについて考えることができます。 複雑さとエラーの関数の合計を最小化することにより、「最適な」適合が生成されるように思えます。 minimising m where m = c(Complexity) + e(Error) これは理にかなっていますか?関数cとeはどうなりますか? 数学はあまり理解できないので、非数学言語を使って説明してください。

5
線形モデルの因子の有意でないレベルの係数を無視できますか?
ここで線形モデル係数についての明確化を求めた後、因子レベルの係数の重要でない(高いp値)に関するフォローアップの質問があります。 例:線形モデルに10レベルの因子が含まれ、それらのレベルのうち3つだけに有意なp値が関連付けられている場合、モデルを使用してYを予測するときに、被験者が次のいずれかに該当する場合、係数項を含めないことを選択できます非重要レベル? さらに劇的に、7つの重要でないレベルを1つのレベルにまとめて再分析するのは間違っているでしょうか?

2
LASSO / LARS vs一般から特定(GETS)メソッド
私は、基本的には段階的な前方選択の単なるバリエーションであり、したがってパス依存性に苦しんでいるにもかかわらず、なぜLASSOおよびLARSモデル選択方法がそんなに人気があるのだろうと思いました。 同様に、モデル選択の一般から特定(GETS)メソッドは、ステップワイズ回帰の問題がないためLARS / LASSOよりも優れているにもかかわらず、ほとんど無視されるのはなぜですか?(GETSの基本リファレンス:http : //www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf-この中で最も新しいアルゴリズムは、パスの依存関係を回避する広範なモデルとツリー検索で始まり、多くの場合、LASSO / LARSよりも優れています)。 奇妙に思えますが、LARS / LASSOはGeneral to Specific(GETS)よりもはるかに多くの露出と引用を得ているようです。 激しい議論を始めようとせず、文献がGETSではなくLASSO / LARSに焦点を当てている理由の合理的な説明を探しており、実際にLASSO / LARSの欠点を指摘している人はほとんどいません。

4
同じ数の自由度を持つ混合効果モデルの比較
ここで抽象化しようとする実験があります。私があなたの前に3つの白い石を投げて、それらの位置について判断を下すようにあなたに頼むことを想像してください。石の様々な特性とあなたの反応を記録します。私はこれをいくつかの主題にわたって行います。2つのモデルを生成します。1つは、最も近い石が反応を予測することであり、もう1つは、石の幾何学的中心が反応を予測することです。したがって、RIでlmerを使用すると記述できます。 mNear <- lmer(resp ~ nearest + (1|subject), REML = FALSE) mCenter <- lmer(resp ~ center + (1|subject), REML = FALSE) 更新と変更-いくつかの役立つコメントを組み込んだより直接的なバージョン 試してみた anova(mNear, mCenter) もちろん、これらはネストされておらず、私は実際にそのように比較することはできないため、これは間違っています。私はanova.merがエラーをスローすることを期待していましたが、そうではありませんでした。しかし、ここで試すことのできるネストは自然なことではなく、まだ分析的な記述が多少少なくなっています。モデルが自然にネストされている場合(たとえば、線形で2次)、テストは1つの方法にすぎません。しかし、この場合、非対称の結果があるとはどういう意味でしょうか? たとえば、モデル3を作成できます。 mBoth <- lmer(resp ~ center + nearest + (1|subject), REML = FALSE) その後、私は分散することができます。 anova(mCenter, mBoth) anova(mNearest, mBoth) これは適切なことで、センターが最も近い効果(2番目のコマンド)に追加されますが、BICは実際にセンターに追加されると実際に上がります(低位の節約の修正)。これは疑わしいものを確認します。 しかし、これで十分でしょうか?そして、中心と最も近くに非常に高い相関があるとき、これは公平ですか? 説明変数(自由度)を加算および減算することではない場合、モデルを分析的に比較するより良い方法はありますか?

3
KNNに最適なKを選択する
5倍のCVを実行して、KNNに最適なKを選択しました。そして、Kが大きくなればなるほど、エラーは小さくなるようです... 申し訳ありませんが、伝説はありませんでしたが、異なる色は異なる試行を表しています。合計5つあり、それらの間にはほとんど差がないようです。Kが大きくなると、エラーは常に減少するようです。それでは、どうすれば最高のKを選択できますか?ここでは、K = 3の後にグラフのレベルがオフになるため、K = 3が適切な選択でしょうか?

1
曲線近似から共分散行列を解釈するにはどうすればよいですか?
私は統計があまり得意ではないので、これが単純な質問であればおifびします。一部のデータに曲線を当てはめていますが、データがの形の負の指数関数に最適な場合があり、a ∗ e (− b ∗ x 2)に近い場合があります+ C。ただし、これらの両方が失敗する場合があり、線形フィットにフォールバックしたいと思います。私の質問は、どのモデルが特定のデータセットに最も適合するかを、結果の分散共分散行列から最適に決定する方法です。a ∗ e(− b ∗ x )+ ca∗e(−b∗バツ)+ca * e^{(-b * x)} + ca ∗ e(− b ∗ x2)+ ca∗e(−b∗バツ2)+ca * e^{(-b * x^2)} + cscipy.optimize.curve_fit()関数?分散はこの行列の対角線の1つにあると思いますが、どのように解釈するのかわかりません。 更新:同様の質問に基づいて、分散共分散行列が、3つのモデルのうちどれがデータに最も適合するかを教えてくれることを期待しています(これら3つのモデルの1つに多くのデータセットを適合させようとしています)。 結果の行列は、指定された例では次のようになります。 pcov_lin [[ 2.02186921e-05 -2.02186920e-04] [ -2.02186920e-04 2.76322124e-03]] pcov_exp [[ 9.05390292e+00 -7.76201283e-02 -9.20475334e+00] [ -7.76201283e-02 …

4
投げ縄の最適なペナルティ選択
ペナルティ項の係数の最適な選択に関する分析結果または実験論文はありますか。することで、最適な、私は最適なモデルを選択する確率、またはその最小化予想損失を最大化するパラメータを意味します。問題のインスタンスの数が多いため、または手元の問題のサイズのために、相互検証またはブートストラップによってパラメーターを選択することは非現実的であることが多いためです。私が知っている唯一の肯定的な結果は、 and Plan、最小化によるほぼ理想的なモデル選択です。ℓ1ℓ1\ell_1ℓ1ℓ1\ell_1

1
lmerモデルに使用する多重比較方法:lsmeansまたはglht?
1つの固定効果(条件)と2つのランダム効果(被験者内のデザインとペアによる参加者)を含む混合効果モデルを使用して、データセットを分析しています。モデルはlme4パッケージで生成されました:exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp)。 次に、固定効果(条件)のないモデルに対してこのモデルの尤度比検定を実行しましたが、有意差があります。データセットには3つの条件があるため、多重比較を行いたいのですが、どの方法を使用すればよいかわかりません。CrossValidatedや他のフォーラムで同様の質問をいくつか見つけましたが、それでもかなり混乱しています。 私が見たものから、人々は使用することを提案しました 1.lsmeansパッケージ- lsmeans(exp.model,pairwise~condition)私に次のような出力が得られます。 condition lsmean SE df lower.CL upper.CL Condition1 0.6538060 0.03272705 47.98 0.5880030 0.7196089 Condition2 0.7027413 0.03272705 47.98 0.6369384 0.7685443 Condition3 0.7580522 0.03272705 47.98 0.6922493 0.8238552 Confidence level used: 0.95 $contrasts contrast estimate SE df t.ratio p.value Condition1 - Condition2 -0.04893538 0.03813262 62.07 -1.283 0.4099 Condition1 - …

2
ブートストラップのリサンプリングに関する最高の推奨教科書?
私は、あなたの意見では、ブートストラップに関する最も入手可能な本がどれであるかを尋ねたかっただけです。これにより、必ずしもその開発者によって書かれたものを意味するわけではありません。 次の基準をカバーするブートストラップに最適な教科書を教えてください。 適用可能性、長所と短所、モデル選択の重要性のドメインをリストする技術の哲学的/認識論的基礎? 実装、哲学的基盤、できればMatlabを使用した簡単な例

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.