タグ付けされた質問 「model」

ESL 2.4は、想定しているため、線形回帰を「モデルベース」として分類しているようですが、k最近傍に対して同様の近似は述べられていません。しかし、どちらの方法もについての仮定をしていませんか？F （X ）f（X ）≈ X ⋅ βf(x)≈x⋅βf(x) \approx x\cdot\betaf（x ）f(x)f(x) 後で2.4でそれは言う： 最小二乗法は、がグローバルな線形関数によって十分に近似されていることを前提としています。f（x ）f(x)f(x) k最近傍は、が局所定数関数によって十分に近似されていると想定しています。f（x ）f(x)f(x) それはまた、正式にすることができようにKNNの仮定は（必ずそうする場合は考えていないが思わつながると仮定した方法でKNNアルゴリズムに線形回帰にリニアリードです）。fff それで、KNNが実際にモデルベースではないのなら、なぜですか？それともESLを誤解していますか？

10 machine-learning  model  k-nearest-neighbour 

3つの変数を含むデータセットがあり、すべての変数は量的変数です。それを、x 1、x 2と呼びましょう。私はMCMCを介してベイジアンの視点で回帰モデルをフィッティングしていますyyyx1x1x_1x2x2x_2rjags 私は探索的分析を行い、散布図は、2次項を使用する必要があることを示唆しています。それから私は2つのモデルを取り付けましたy×x2y×x2y\times x_2 （1）y=β0+β1∗x1+β2∗x2y=β0+β1∗x1+β2∗x2y=\beta_0+\beta_1*x_1+\beta_2*x_2 （2）y=β0+β1∗x1+β2∗x2+β3∗x1x2+β4∗x21+β5∗x22y=β0+β1∗x1+β2∗x2+β3∗x1x2+β4∗x12+β5∗x22y=\beta_0+\beta_1*x1+\beta_2*x_2+\beta_3*x_1x_2+\beta_4*x_1^2+\beta_5*x_2^2 モデル1では、各パラメーターの効果サイズは小さくなく、95％の信頼できる間隔には値が含まれていません。000 モデル2のパラメータの効果の大きさは、及びβ 4が小さいものであり、全てのパラメータの信頼区間のそれぞれに含まれる0。β3β3\beta_3β4β4\beta_4000 信頼できる間隔にが含まれているという事実は、パラメーターが重要ではないと言うのに十分ですか？000 次に、次のモデルを調整しました （3）y=β0+β1∗x1+β2∗x2+β3∗x22y=β0+β1∗x1+β2∗x2+β3∗x22y=\beta_0+\beta_1*x_1+\beta_2*x_2+\beta_3*x^2_2 β1β1\beta_1000 ベイジアン統計で変数選択を行う正しい方法はどれですか？ log(σ)=−δδXlog(σ)=−δδXlog(\sigma)=-\pmb{\delta}Xδδδδ\pmb{\delta}δδδδ\pmb{\delta} βjβj\beta_jδjδj\delta_j ガウスモデルの推定値は次のとおりです。 Mean SD Naive SE Time-series SE B[1] -1.17767 0.07112 0.0007497 0.0007498 B[2] -0.15624 0.03916 0.0004128 0.0004249 B[3] 0.15600 0.05500 0.0005797 0.0005889 B[4] 0.07682 0.04720 0.0004975 0.0005209 delta[1] -3.42286 0.32934 0.0034715 0.0034712 delta[2] …

9 bayesian  feature-selection  model-selection  model  credible-interval 

こんにちは、Rの出力画面でRef.dfを理解するのに苦労しています。 Approximate significance of smooth terms: edf Ref.df F p-value s(meangrain) 1.779 2.209 3.193 0.0451 * s(depth) 2.108 2.697 3.538 0.0254 * GAMの結果を論文で示すためにこの用語を含める必要があるのでしょうか。予測に必要な情報を教えてくれますか？

9 model  gam  degrees-of-freedom 

豊富さがサイズに関連しているかどうかを調べています。サイズは（もちろん）連続していますが、存在量は次のようなスケールで記録されます。 A = 0-10 B = 11-25 C = 26-50 D = 51-100 E = 101-250 F = 251-500 G = 501-1000 H = 1001-2500 I = 2501-5000 J = 5001-10,000 etc... AからQ ... 17レベル。考えられるアプローチの1つは、各文字に番号を割り当てることであると考えていました：最小、最大、または中央値（つまり、A = 5、B = 18、C = 38、D = 75.5 ...）。 潜在的な落とし穴は何ですか-したがって、このデータをカテゴリカルとして扱う方が良いでしょうか？ 私はいくつかの考えを提供するこの質問を読みました-しかし、このデータセットの重要な点の1つは、カテゴリーが均一ではないことです-したがって、カテゴリーとして扱うことは、AとBの違いは、 BとC ...（対数を使用して修正できます-Anonymouseに感謝） 最終的に、他の環境要因を考慮した上で、サイズを存在量の予測因子として使用できるかどうかを確認したいと思います。予測も範囲になります。サイズXと係数A、B、Cが与えられた場合、存在量Yは最小値と最大値の間になると予測します（1つ以上のスケールポイントにまたがる可能性があると思います：最小Dより大きく、最小Max F …

9 categorical-data  variance  model  continuous-data 

こんにちは私は回帰技法を勉強しています。 私のデータには15の機能と6000万の例（回帰タスク）があります。 多くの既知の回帰手法（勾配ブーストツリー、ディシジョンツリー回帰、AdaBoostRegressorなど）を試したところ、線形回帰は優れたパフォーマンスを示しました。 これらのアルゴリズムの中でほぼ最高のスコアを獲得しました。 これの理由は何ですか？私のデータには非常に多くの例があるので、DTベースの方法はうまく適合できます。 正則化された線形回帰の尾根、なげなわのパフォーマンスが悪い 誰かが他のパフォーマンスの良い回帰アルゴリズムについて教えてもらえますか？ 因数分解マシンとサポートベクター回帰は、試すのに適した回帰手法ですか？

9 regression  modeling  deep-learning  model  cart 

高い減衰値で負になるy値に指数関数的減衰関数を適合させようとしていますが、nls関数を正しく構成できません。 目的 減衰関数の傾きに興味があります（いくつかの情報源によると）。この勾配をどのように取得するかは重要ではありませんが、モデルはできる限りデータに適合している必要があります（つまり、適合が良好であれば、問題の線形化は許容可能です。「線形化」を参照してください）。しかし、このトピックに関するこれまでの研究では、次の指数関数的減衰関数を使用しています（Stedmon et al。によるクローズドアクセスの記事、方程式3）。λλ\lambda f(y)=a×exp(−S×x)+Kf(y)=a×exp(−S×x)+Kf(y) = a \times exp(-S \times x) + K ここSで、私が関心を持っている勾配は、K負の値とa初期値x（つまり切片）を許可するための補正係数です。 私はこれをRで行う必要があります。発色団溶存有機物 （CDOM）の生の測定値を研究者が興味のある値に変換する関数を書いているからです。 データの例 データの性質上、PasteBinを使用する必要がありました。例えば、データはこちらから入手できます。 書くdt <-とあなたのRコンソールにコードFOMペーストビンをコピーします。すなわち dt <- structure(list(x = ... データは次のようになります。 library(ggplot2) ggplot(dt, aes(x = x, y = y)) + geom_point() 場合、負のy値が発生します。x>540nmx>540nmx > 540 nm を使用して解決策を見つけようとしています nls を使用nlsして最初に試行すると、特異性が生じます。これは、パラメータの開始値を目で確認しただけであっても、驚くことではありません。 nls(y ~ a * exp(-S * …

9 r  model  exponential 

概念的に、オーバーフィットモデルと適切にフィットしたモデルの間にどこで線を引きますか？ モデルがテストセットよりもトレーニングセットで数パーセント優れている場合、過適合であることは明らかです。しかし、理論的には、トレーニングセットでモデルをトレーニングし、テストセットで検証したところ、トレーニングセットの精度がテストセットよりも0.2％高いことがわかりました。これは過度に適合していませんか？

9 machine-learning  model  overfitting  supervised-learning 

仮説が与えられた関数がその固定汎化誤差を返すとしましょう。E（h ）E（h）\mathcal{E(h)}hhhhhh 私はモデルの選択と一般化エラーに関するいくつかのメモを読んでいて、それは言った： 「にアクセスできれば、モデル選択の問題も発生しません。ラージ選択して 、エラーを最小限に抑える分類器を見つけるだけです。」E（h ）E（h）\mathcal{E(h)}HH\mathcal{H} その声明を十分に理解または理解したのか、それとも実際に声明に同意したのかはわかりませんでした。その理由は、たとえアクセスできたとしても（これは、を取り、その真の汎化エラーを言うオラクルを意味すると思います）、よく一般化する仮説があります。その理由は、モデルクラスが無限であることです（つまり、選択できるモデルのセットが無限にある）。すべてのをチェックしない限り、がいつ最小値に達したかは実際にはわかりませんE（h ）E（h）\mathcal{E(h)}hhhHH\mathcal{H}E（h ）E（h）\mathcal{E(h)}HH\mathcal{H}それは可能です。つまり、たとえそのようなことがあったとしても、（多項式時間で）本当に本当に最高のを本当に見つけたと確信できるので、問題はそれほど簡単に解消されないと思いますか？基本的に私は、一般化が最小になる時期を決定するためのオラクルがあることを前提としています。さらに、指摘したように、提案されたアルゴリズム/ターニングマシンは決定可能であり、Pではありません（つまり、永久に実行される可能性があります...）。HH\mathcal{H} 私がこの質問で抱えている主な問題/疑問は、そのようなOracleを使用しても、モデルの選択が単純化されているとは思えないことです。

8 machine-learning  model 

たとえば、多くの共変量に基づいて患者が特定の疾患を発症する確率を出力するロジスティック回帰モデルがあるとします。 モデルの係数を調べ、オッズ比の変化を考慮することにより、一般的に各共変量の効果の大きさと方向を知ることができます。 一人の患者について、彼または彼女の最大の危険因子/彼または彼女の有利な最大の因子が何であるかを知りたい場合はどうでしょうか。私は特に、患者が実際に何ができるかについて興味があります。 これを行う最良の方法は何ですか？ 私が現在検討している方法は、次のRコード（このスレッドから取得）にキャプチャされています。 #Derived from Collett 'Modelling Binary Data' 2nd Edition p.98-99 #Need reproducible "random" numbers. seed <- 67 num.students <- 1000 which.student <- 1 #Generate data frame with made-up data from students: set.seed(seed) #reset seed v1 <- rbinom(num.students,1,0.7) v2 <- rnorm(length(v1),0.7,0.3) v3 <- rpois(length(v1),1) #Create df representing …

8 logistic  regression-coefficients  model 

SSR + SSE = SSTotalの関係が成立しないため、非線形二乗モデルではR-2乗が無効であることを読みました。これが真実である理由を誰かが説明できますか？ SSRとSSEは、回帰ベクトルと残差ベクトルの二乗ノルムであり、成分はそれぞれとです。これらのベクトルが互いに直交している限り、予測子の値を当てはめられた値にマップするために使用される関数の種類に関係なく、上記の関係が常に成り立つとは限りません。私トンの時間私thi^{th}（Y私^−Y¯）（Y私^−Y¯）(\hat{Y_i}-\bar{Y})（Y私−Y私^）（Y私−Y私^）(Y_i-\hat{Y_i}) さらに、最小二乗の定義により、任意の最小二乗モデルに関連付けられた回帰ベクトルと残差ベクトルは直交しませんか？残差ベクトルは、ベクトルと回帰ベクトルの差です。残差/差分ベクトルが直交しないような回帰ベクトルの場合、回帰ベクトルに定数を掛けて、残差/差分ベクトルと直交するようにすることができます。これにより、残差/差分ベクトルのノルムも減少します。（Y私−Y私¯）（Y私−Y私¯）(Y_i-\bar{Y_i}) これをうまく説明できなかった場合は、教えてください。明確にするように努めます。

8 least-squares  model  r-squared  nonlinear 

私の計量経済学の教授は、クラスで「識別された」という用語を使用しました。フォームのデータ生成プロセスを検討しています Y=β0+β1X+UY=β0+β1X+UY = \beta_0 + \beta_1 X + U どこ XXX 確率変数であり、 UUUランダムなエラー項です。私たちの回帰直線は、Y=β0^+β1^XY=β0^+β1^XY = \hat{\beta_0}+\hat{\beta_1}X 彼は「識別された」の次の定義を与えた： β0β0\beta_0、β1β1\beta_1されている識別データセットならば{Xn}∞i=1{Xn}i=1∞\lbrace X_n\rbrace_{i=1}^{\infty} 固有の値を「固定」するのに十分な情報が含まれています β0β0\beta_0、β1β1\beta_1 彼は「情報」とは何か、また「ピン留め」が何を意味するのかを彼が指定していないので、私はこの定義に不満です。 コンテキストのビット 私たちの演習の1つで、 E[UX]=α≠0E[UX]=α≠0\Bbb E[UX] = \alpha \ne 0。私の教授によると、これはモデルを「識別可能」にするために必要な「外因性」と呼ばれる仮定に違反しています。 具体的には、彼の講義ノートによると、 外因性の仮定：エラー項はリグレッサと無相関です、またはCov(Un,Xnk)=0Cov⁡(Un,Xnk)=0\operatorname{Cov}(U_n,X_{nk}) = 0 すべてのために k=1,2,3...,Kk=1,2,3...,Kk = 1,2,3...,K。の仮定によってE(Un|Xn1,Xn2,...,XnK)E(Un|Xn1,Xn2,...,XnK)\Bbb E(U_n|X_{n1},X_{n2},...,X_{nK})、これは次のように書き直すことができます Cov(Un,Xnk)=E(UnXnk)=0Cov⁡(Un,Xnk)=E(UnXnk)=0\operatorname{Cov}(U_n,X_{nk}) = \Bbb E(U_nX_{nk}) =0 すべてのために k=1,2,3...,Kk=1,2,3...,Kk = 1,2,3...,K それは私たちの問題のようです、彼はこの外因性の仮定が失敗した場合、モデルを特定できない理由を理解させようとしています。うまくいけば、これは彼がその用語をどのように使用しているかについての回答者にコンテキストを与えることができます。 私の質問 誰かが彼が「情報」と「ピン留め」によって何を意味するのかを明確にすることができますか？または、より良い定義をまとめて与えます。 …

7 regression  econometrics  model  identifiability