タグ付けされた質問 「regression」

ランダムフォレストやExtreme Gradient Boosting（XGBoost）などのアルゴリズムを使用する場合、予測値ごとに信頼スコア（信頼値または尤度とも呼ばれます）を取得する方法はありますか？この信頼スコアが0から1の範囲であり、特定の予測について私がどれほど自信があるかを示しているとします。 自信についてインターネットで見つけたものから、通常は間隔で測定されます。ライブラリconfpredからの関数を使用して計算された信頼区間の例を次に示しlavaます。 library(lava) set.seed(123) n <- 200 x <- seq(0,6,length.out=n) delta <- 3 ss <- exp(-1+1.5*cos((x-delta))) ee <- rnorm(n,sd=ss) y <- (x-delta)+3*cos(x+4.5-delta)+ee d <- data.frame(y=y,x=x) newd <- data.frame(x=seq(0,6,length.out=50)) cc <- confpred(lm(y~poly(x,3),d),data=d,newdata=newd) if (interactive()) { ##' plot(y~x,pch=16,col=lava::Col("black"), ylim=c(-10,15),xlab="X",ylab="Y") with(cc, lava::confband(newd$x, lwr, upr, fit, lwd=3, polygon=T, col=Col("blue"), border=F)) } コード出力は信頼区間のみを提供します。 …

11 r  regression  random-forest  prediction  boosting 

私は、（素晴らしい）本の統計的再考（Richard McElreath著）の第13章「Adventures in Covariance」を読んでいます。彼は次の階層モデルを提示しています。 （Rは相関行列です） 著者は、それLKJcorrが相関行列の正則化事前として機能する弱く情報的な事前であると説明しています。しかし、なぜそうなのでしょうか。LKJcorr分布がどのような特性を持っているので、相関行列にとってこれほど優れています。相関行列に実際に使用されている他の良い事前分布はどれですか？

11 regression  self-study  correlation  prior  hierarchical-bayesian 

私は、kレベルのカテゴリ変数がダミーのエンコードでk-1変数でエンコードされる必要があるという事実を認識しています（同様に、多値のカテゴリ変数の場合）。さまざまな回帰メソッド、主に線形回帰、ペナルティ付き線形回帰（Lasso、Ridge、ElasticNet）、ツリーベース（ランダムフォレスト）のダミーエンコーディングに対してワンホットエンコーディング（つまり、代わりにk変数を使用）がどのくらい問題になるのかと思っていました。 、勾配ブースティングマシン）。 線形回帰では、多重共線性の問題が発生することを知っています（実際には、OHEを使用して線形回帰を問題なくフィッティングしましたが）。 しかし、それらすべてでダミーエンコーディングを使用する必要がありますか？ワンホットエンコーディングを使用した場合、結果はどのように間違っていますか？ 私の焦点は、複数の（カーディナリティが高い）カテゴリー変数を使用した回帰モデルでの予測にあります。そのため、信頼区間には興味がありません。

11 regression  multiple-regression  categorical-data  many-categories 

私は問題への私のアプローチの多様性のために、段階的回帰を実験しています。だから、私は2つの質問があります： ステップワイズ回帰の利点は何ですか？その具体的な長所は何ですか？ ステップワイズ回帰を使用して特徴を選択し、選択したすべての特徴をまとめて通常の回帰を適用するハイブリッドアプローチについてどう思いますか？

11 regression  feature-selection  stepwise-regression 

ストリームを介して1つずつ到着するデータポイントにスライディングウィンドウを使用して、増分ガウスプロセス回帰を実装したいと思います。 ましょう入力空間の次元を表します。したがって、すべてのデータポイントx iにはd個の要素があります。dddバツ私xix_iddd してみましょうスライディングウィンドウのサイズです。んnn 予測を行うには、グラム行列逆を計算する必要があります。ここで、K i j = k （x i、x j）であり、kは2乗指数カーネルです。KKKK私はj= k （x私、xj）Kij=k(xi,xj)K_{ij} = k(x_i, x_j) Kが新しいデータポイントごとに大きくなるのを避けるために、新しいポイントを追加する前に最も古いデータポイントを削除して、グラムが大きくならないようにすることができると考えました。例えば、聞かせてここで、Σは、重みの共分散であり、φは、二乗指数カーネルによって暗示暗黙的なマッピング関数です。K=ϕ(X)TΣϕ(X)K=ϕ(X)TΣϕ(X)K = \phi(X)^{T}\Sigma\phi(X)ΣΣ\Sigmaϕϕ\phi 今聞かせて ]およびX n e w = [ x t − n + 2 | 。。。| x t | X T + 1 ] X「sはさdはによって1列の行列。X=[xt−n+1|xt−n+2|...|xtX=[xt−n+1|xt−n+2|...|xtX=[x_{t-n+1}|x_{t-n+2}|...|x_{t}Xnew=[xt−n+2|...|xt|xt+1]Xnew=[xt−n+2|...|xt|xt+1]X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]xxxddd111 Kを潜在的に使用してを見つける効果的な方法が必要です。これは、シャーマンモリソンの公式で効率的に処理できる、ランク1の更新された行列の問題の逆のようには見えません。K−1newKnew−1K_{new}^{-1}KKK

11 regression  covariance  gaussian-process  linear-algebra  online 

Rの回帰モデルにDWテストを適用し、1.78のDWテスト統計と2.2e-16 = 0のp値を得ました。 これは、統計値が2に近く、p値が小さいため、残差間に自己相関がないことを意味しますか、それとも、統計値が2に近いにもかかわらず、p値が小さいため、存在するという帰無仮説を棄却します自己相関なし？

11 r  regression  hypothesis-testing  autocorrelation  residuals 

（正常ではないと仮定）単回帰を考える：平均であると標準偏差。との最小二乗推定は無相関ですか？Yi=a+bXi+ei,Yi=a+bXi+ei,Y_i = a + b X_i + e_i,eieie_i000σσ\sigmaaaabbb

11 regression  correlation  estimation 

時系列にR-squaredを使用することは適切ではないことを読みました。時系列コンテキストでは（他のコンテキストがあることはわかっています）、R-squaredは一意ではなくなったためです。どうしてこれなの？これを調べてみましたが何も見つかりませんでした。通常、モデルを評価するとき、R-squared（または調整済みR-Squared）にあまり価値を置きませんが、多くの同僚（つまり、ビジネス専攻）はR-Squaredに完全に夢中で、できるようになりたいです。時系列のコンテキストでR-Squaredが適切でない理由を説明します。

11 regression  time-series  r-squared 

線形回帰の仮定として、エラーの分布の正規性は、誤って「拡張」されるか、yまたはxの正規性の必要性として解釈されることがあります。 XとYが非正規であるが、エラー項があり、したがって得られた線形回帰推定が有効であるシナリオ/データセットを構築することは可能ですか？

11 regression  linear-model  assumptions 

多重線形回帰を行っています。21の観測値と5つの変数があります。私の目的は、変数間の関係を見つけることです データセットは重回帰を実行するのに十分ですか？ t検定の結果、3つの変数が有意ではないことが明らかになりました。重要な変数を使用して回帰を再度実行する必要がありますか（または、最初の回帰で結論を得るには十分ですか）？私の相関行列は次のとおりです var 1 var 2 var 3 var 4 var 5 Y var 1 1.0 0.0 0.0 -0.1 -0.3 -0.2 var 2 0.0 1.0 0.4 0.3 -0.4 -0.4 var 3 0.0 0.4 1.0 0.7 -0.7 -0.6 var 4 -0.1 0.3 0.7 1.0 -0.7 -0.9 var 5 -0.3 -0.4 …

11 regression  t-test  multiple-regression 

2本の線が（多かれ少なかれ）平行であるかどうかを理解する方法はありますか？線形回帰から生成された2本の線があり、それらが平行かどうかを知りたいのですが。つまり、この2つの線の傾きの違いを知りたいのです。 これを計算するR関数はありますか？ 編集： ...そして線形回帰直線の傾き（度単位）をどのように取得できますか？

11 r  regression  interaction  linear-model 

変数と変数responseについて条件付きで記述したい変数があり、ネストされた変数が説明変数の特定の値の意味のある変数としてのみ発生する統計的な問題について考えます。説明変数が意味のあるネストされた変数を許可しない場合、後者は通常、データセットのようにコーディングされるか、値でコーディングされている場合、その値は意味のある解釈のない単なるプレースホルダーです。explanatorynestedNA この状況は、モノの存在を示す説明変数と、そのモノの特性を説明する1つ以上のネストされた変数がある場合に必ず発生します。統計的な問題におけるこの種の状況のいくつかの例は次のとおりです。 説明変数は、調査の参加者がであるかどうかの指標でmarriedあり、ネストされた変数は一部ですcharacteristic of the spouse（例：教育、年齢など）。 説明変数はpresence of an itemスペース内ののインジケーターであり、ネストされた変数はいくつかのcharacteristic of the itemサイズ（たとえば、サイズ、距離など）です。 説明変数はの発生のインジケーターでeventあり、ネストされた変数はいくつかの説明ですcharacteristic of the event（たとえば、期間、大きさなど）。 このような状況では、応答変数と他の変数との関係を記述する回帰型モデル（GLM、GLMMなどを含む広い意味で）を構築することがよくあります。このタイプのモデルでネストされた変数の処理方法は明らかではありません。 質問：nestedこのタイプのモデルで変数をどのように処理しますか？ 注：この質問は、回帰のネストされた変数に関するCV.SEで繰り返し発生する質問に対する一般化された回答を提供することを目的としています（たとえば、ここ、ここ、ここ、およびここを参照）。この質問は、この問題の一般化されたコンテキストに依存しない例を示すことを目的としています。

11 regression  generalized-linear-model  glmm  nested-data 

私はインターネットでベイジアンリッジ回帰について検索しましたが、私が得た結果のほとんどはベイジアン線形回帰についてです。公式はかなり似ているので、両方とも同じものなのでしょうか

11 regression  bayesian 

線形回帰のパラメーターを推定する場合、線形モデルに未知数が含まれているのと同じ数の正規方程式を作成します。これらの方程式が正規方程式と呼ばれるのはなぜですか？

11 regression  least-squares  terminology  linear 

この質問を見た後：Kerasを使用して線形回帰をエミュレートすることを試みて、私は勉強の目的で、そして私の直感を発展させるために、自分の例を転がそうとしました。 単純なデータセットをダウンロードし、1つの列を使用して別の列を予測しました。データは次のようになります。 これで、単一の1ノードの線形レイヤーを持つ単純なケラスモデルを作成し、その上で勾配降下法を実行しました。 from keras.layers import Input, Dense from keras.models import Model inputs = Input(shape=(1,)) preds = Dense(1,activation='linear')(inputs) model = Model(inputs=inputs,outputs=preds) sgd=keras.optimizers.SGD() model.compile(optimizer=sgd ,loss='mse',metrics=['mse']) model.fit(x,y, batch_size=1, epochs=30, shuffle=False) そのようなモデルを実行すると、nanすべてのエポックで損失が出ます。 jupyterノートブックへのリンク だから私はものを試してみることに決めました、そして私が途方もなく小さい学習率を使用する場合に のみまともなモデルを得るsgd=keras.optimizers.SGD(lr=0.0000001)： なぜこれが起こっているのですか？私が直面するすべての問題に対して、このように手動で学習率を調整する必要がありますか？ここで何か悪いことをしていますか？これは可能な限り簡単な問題だと思いますよね？ ありがとう！

11 regression  machine-learning  neural-networks  linear  keras