統計とビッグデータ

閉まっている。この質問はトピック外です。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新して、相互検証のトピックになるようにします。 2年前に閉店。 Pythonとscikit-learnを使用して予測の平均絶対パーセント誤差（MAPE）を計算するにはどうすればよいですか？ docsから、回帰のこれらの4つのメトリック関数のみがあります。 metrics.explained_variance_score（y_true、y_pred） metrics.mean_absolute_error（y_true、y_pred） metrics.mean_squared_error（y_true、y_pred） metrics.r2_score（y_true、y_pred）

24 predictive-models  python  scikit-learn  mape 

多変量分布の分位数を計算する方法に興味があります。図では、特定の単変量正規分布の5％および95％の分位点を描画しました（左）。適切な多変量正規分布の場合、アナログは密度関数の基底を囲む等値線になると想像しています。以下は、パッケージを使用してこれを計算する試みの例ですが、mvtnorm成功しません。多変量密度関数の結果の等高線を計算することでこれを行うことができると思いますが、別の選択肢（たとえばの類似体qnorm）があるかどうか疑問に思っていました。ご協力いただきありがとうございます。 例： mu <- 5 sigma <- 2 vals <- seq(-2,12,,100) ds <- dnorm(vals, mean=mu, sd=sigma) plot(vals, ds, t="l") qs <- qnorm(c(0.05, 0.95), mean=mu, sd=sigma) abline(v=qs, col=2, lty=2) #install.packages("mvtnorm") require(mvtnorm) n <- 2 mmu <- rep(mu, n) msigma <- rep(sigma, n) mcov <- diag(msigma^2) mvals <- expand.grid(seq(-2,12,,100), seq(-2,12,,100)) mvds <- …

24 r  pdf  quantiles  multivariate-normal  multivariate-distribution 

同僚から、この主題についてのいくつかの助けを求められますが、私は本当に知りません。彼らは1つの研究でいくつかの潜在変数の役割について仮説を立て、審判は彼らにこれをSEMで形式化するように依頼した。彼らが必要とすることはそれほど難しくないように思えるので、私はそれを試してみると思う...今のところ、私はちょうど主題への良い紹介を探しています！ これについては、Googleは本当に私の友人ではありませんでした。事前に感謝します... PS：John FoxによるRのsemパッケージによる構造方程式モデリングと、同じ著者によるこのテキストを読みました。私の目的にはこれで十分だと思いますが、とにかく他の参考文献は大歓迎です。

24 references  modeling  sem  psychometrics 

次のように、Rで反復測定ANOVAを実行しました。 aov_velocity = aov(Velocity ~ Material + Error(Subject/(Material)), data=scrd) summary(aov_velocity) Rのどの構文を使用して、反復測定によるANOVAの後に事後検定を実行できますか？ ボンフェローニ補正によるテューキーのテストは適切でしょうか？もしそうなら、これをRでどのように行うことができますか？

24 r  anova  repeated-measures  post-hoc  contrasts 

Parzenウィンドウ密度の推定は次のように記述されます。 p(x)=1n∑i=1n1h2ϕ(xi−xh)p(x)=1n∑i=1n1h2ϕ(xi−xh) p(x)=\frac{1}{n}\sum_{i=1}^{n} \frac{1}{h^2} \phi \left(\frac{x_i - x}{h} \right) ここで、ベクトルの要素数であり、ベクトルであり、確率密度であり、パルゼンウィンドウの寸法であり、窓関数です。x p （x ）x h ϕnnnxxxp(x)p(x)p(x)xxxhhhϕϕ\phi 私の質問は： Parzenウィンドウ関数とガウス関数などの他の密度関数の基本的な違いは何ですか？ の密度を見つける際のウィンドウ関数（）の役割は何ですか？xϕϕ\phixxx ウィンドウ関数の代わりに他の密度関数をプラグインできるのはなぜですか？ の密度を見つける際のの役割は何ですか？xhhhxxx

24 pdf  kernel-smoothing  intuition  density-estimation 

R（lm）で回帰モデルを構築しているときに、頻繁にこのメッセージが表示されます "there are aliased coefficients in the model" 正確にはどういう意味ですか？ また、これによりpredict()警告も出ています。 これは単なる警告ですが、モデルを構築する前にエイリアス係数を検出/削除する方法を知りたいです。 また、この警告を無視した場合に考えられる結果は何ですか？

24 r  regression 

ロジスティック回帰が線形モデルと呼ばれる理由を知りたい。線形ではないシグモイド関数を使用します。では、なぜロジスティック回帰は線形モデルなのでしょうか？

24 regression  logistic  terminology 

F1スコア、Diceスコア、およびIoU（結合の交差点）の違いについて混乱しました。ここまでで、F1とDiceは同じものを意味することがわかりました（右？）。IoUは他の2つと非常によく似た式を持っています。 F1 /ダイス：2 TP2 TP+ FP+ FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / Jaccard：TPTP+ FP+ FNTPTP+FP+FN\frac{TP}{TP+FP+FN} F1が真陽性をより高く重み付けすることを除いて、実用的な違いや注目に値するその他のものはありますか？一方を使用して他方を使用しない状況はありますか？

24 terminology  accuracy  precision-recall 

ドロップアウトとドロップ接続の違いは何ですか？ 知る限り、ドロップアウトは、トレーニング中に非表示のノードをランダムにドロップしますが、テスト中はそれらを保持し、ドロップ接続は接続をドロップします。 しかし、接続をドロップすることは、非表示のノードをドロップすることと同等ではありませんか？ノード（または接続）は単なる重みのセットではありませんか？

24 neural-networks  dropout 

ライブラリ（ConvnetやTensorFlowなど）に依存しないPythonコードを作成することで、畳み込みニューラルネットワークをよりよく理解しようとしていますが、カーネルマトリックスの値を選択する方法に関する文献にこだわっています。画像の畳み込みを実行します。 CNNのレイヤーを示す以下の画像の機能マップ間のステップで、実装の詳細を理解しようとしています。 この図によると： カーネルマトリックスカーネルは画像上で「ステップ」し、特徴マップを作成します。各ピクセルは、カーネル（またはフィルターマトリックス）の各重みと入力画像の対応するピクセル値の間のすべての要素ごとの積の合計です。 私の質問は、カーネル（またはフィルター）行列の重みをどのように初期化するのですか？ 上記のデモンストレーションでは、これらは1と0にすぎませんが、これは図のために単純化されていると思います。 これらの重みは、何らかの前処理ステップでトレーニングされていますか？または、ユーザーが明示的に選択しましたか？

24 machine-learning  neural-networks  deep-learning  feature-construction  conv-neural-network 

最近の好評の質問で、Timは、機械学習で不均衡なデータが本当に問題になるのはいつかを尋ねます。質問の前提は、クラスバランスと不均衡クラスの問題について議論する多くの機械学習文献があるということです。考え方は、ポジティブクラスとネガティブクラスの間に不均衡があるデータセットは、一部の機械学習分類（ここでは確率モデルを含む）アルゴリズムに問題を引き起こし、完全な50/50を復元するために、データセットを「バランス」する方法を探さなければならないということです。正と負のクラスに分割します。 賛成の回答の一般的な意味は、「少なくともモデリングに思慮深い場合はそうではない」ということです。M.ヘンリーL.は、受け入れられた答えに対する上向きのコメントで、次のように述べています。 [...]不均衡なデータの使用には、低レベルの問題はありません。私の経験では、「不均衡なデータを回避する」というアドバイスは、アルゴリズム固有のものか、継承された知恵です。私は、一般に、不均衡なデータは明確に指定されたモデルに概念的な問題をもたらさないというAdamOに同意します。 AdamOは、クラスバランスの「問題」は本当にクラス希少性の 1つだと主張 したがって、少なくとも回帰では（ただし、すべての状況で疑わしい）、不均衡なデータの唯一の問題は、サンプルサイズが事実上小さいことです。まれなクラスの人数に適した方法がある場合、そのメンバーシップの割合が不均衡であれば問題はありません。 これが目前の真の問題である場合、データセットのバランスを取ることを目的としたすべてのリサンプリング方法の目的は何ですか：オーバーサンプリング、アンダーサンプリング、SMOTEなど、未解決の問題が残ります。 明らかに、サンプルサイズが暗黙的に小さいという問題に対処していないため、何もないところから情報を作成することはできません！

24 machine-learning  classification  predictive-models  unbalanced-classes 

クロスエントロピーとKLダイバージェンスはどちらも、2つの確率分布間の距離を測定するためのツールです。違いはなんですか？ また、KLの最小化は、クロスエントロピーの最小化と等価です。K L （P | Q ）= ∑ x P （x ）log P （x ）H（P、Q ）= − ∑バツP（x ）ログQ （x ）H（P、Q）=−ΣバツP（バツ）ログ⁡Q（バツ） H(P,Q) = -\sum_x P(x)\log Q(x) KL （P| Q）= ∑バツP（x ）ログP（x ）Q （x ）KL（P|Q）=ΣバツP（バツ）ログ⁡P（バツ）Q（バツ） KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}} 本能的に知りたい。 事前にどうもありがとうございました。

24 entropy  kullback-leibler  cross-entropy 

多くのオンラインゲームでは、プレーヤーが難しいタスクを完了すると、タスクを完了した全員が使用できる特別な報酬が与えられることがあります。これは通常、マウント（輸送方法）または別のバニティアイテム（キャラクターのパフォーマンスを向上させず、外観のカスタマイズに主に使用されるアイテム）です。 そのような報酬が与えられた場合、誰が報酬を受け取るかを決定する最も一般的な方法は乱数を使用することです。ゲームには通常、1〜100のランダムな（暗号化セキュアランダムではなく、擬似ランダムのような）数を生成する特別なコマンドがあります（プレイヤーは別のスプレッドを選択できますが、100が最も一般的です）。各プレイヤーはこのコマンドを使用し、すべてのプレイヤーは誰が何をロールしたかを見ることができ、アイテムは最高のロールをした人に授与されます。ほとんどのゲームには、プレイヤーがボタンを押すだけで、誰もがボタンを押すと、ゲームが残りを自動的に行う組み込みシステムもあります。 時には、同じ高い数字を生成するプレイヤーもいますが、誰も彼らを倒しません。これは通常、一意の最高の数字が出るまで、プレイヤーが数字を再生成することで解決されます。 私の質問は次のとおりです。同じ確率で1〜100の任意の数を生成できる乱数ジェネレーターを想定します。25人のプレーヤーのグループがあり、それぞれがそのような乱数ジェネレーター（それぞれ独自のシード）で1つの数値を生成すると仮定します。1〜100の25個の数字があり、特定の数のプレーヤーを転がす人数に制限はなく、数字間に関係はありません。最大の生成数が複数のプレイヤーによって生成される可能性は何ですか？言い換えれば、同点の可能性は何ですか？

23 probability  random-generation 

機械学習手法を使用して予測モデルを構築する場合、探索的データ分析（EDA）を行うポイントは何ですか？フィーチャの生成とモデルの構築に直接ジャンプしても大丈夫ですか？EDAで使用される記述統計はどのように重要ですか？

23 machine-learning  predictive-models  descriptive-statistics  eda 

これまでに見てきたすべての教科書は、MLアルゴリズムとその実装方法について説明しています。 これらのアルゴリズムの動作の定理と証明を構築する教科書もありますか？例えば条件場合、勾配降下は常につながると述べていますか？x 、y、zバツ、y、zx,y,zA 、B 、CA、B、CA,B,C

23 machine-learning  mathematical-statistics  references  algorithms