タグ付けされた質問 「self-study」

私は「スター座標：次元の均一な扱いを伴う多次元視覚化手法」という論文を読んでおり、データをプロットしようとしています。 私が持っていると言う、5次元のデータポイント、及びポイントが紙で説明した式により計算されます。 A （2 、5 、3 、1 、8 ）A(2,5,3,1,8)A(2,5,3,1,8) スター座標の基本的な考え方は、2次元平面上の円上に座標軸を配置し、円の中心に原点をもつ軸間に等しい（初期）角度を配置することです（図1）。最初は、すべての軸の長さが同じです。データポイントは、軸の長さに合わせてスケーリングされ、最小マッピングは原点に、最大マッピングは軸のもう一方の端に割り当てられます。単位ベクトルはそれに応じて計算されます。... これは、通常の2次元および3次元の散布図を、正規化により高次元に拡張したものです。 私はその考えを理解するのに苦労しています。どうすればプロットできますか？主な問題は、論文の公式が理解できなかったことです。

8 self-study  data-visualization 

以下は、Bayesian Data Analysis 2nd ed、p。97. Andrew Gelmanは彼のウェブサイトのガイドにそのソリューションを含めておらず、一日中私を夢中にさせてきました。文字通り一日中。 yyyNNNθθ\thetaNNNPr(N|μ)=Poisson(μ)Pr(N|μ)=Poisson(μ)\Pr(N|\mu) = Poisson(\mu)μμ\mu(N,θ)(N,θ)(N, \theta)λ=μθλ=μθ\lambda=\mu\thetaNNNp(λ,θ)∝1/λp(λ,θ)∝1/λp(\lambda, \theta) \varpropto 1/\lambda。 私がハングアップしている問題の一部は、変数を変換してを決定する方法です。p(N,θ)p(N,θ)p(N, \theta) 私が試みたアプローチは、記述し、積分によって不要なを排除することです。つまり、、そしてを関係置き換えます。このアプローチは、に減少します。ここで、は（3）から導入された比例定数です。 p(N,θ|λ)p(λ,θ)p(N,θ|λ)p(λ,θ)p(N,\theta|\lambda)p(\lambda, \theta)λλ\lambdap(N,θ)=∫∞0CμN/(exp(μ)λN!)dλp(N,θ)=∫0∞CμN/(exp(μ)λN!)dλp(N,\theta)=\int_0^\infty C\mu^N/(exp(\mu)\lambda N!)d\lambdaμμ\muμ=λ/θμ=λ/θ\mu=\lambda/\thetap(N,θ)=C/(N+1)p(N,θ)=C/(N+1)p(N,\theta)=C/(N+1)CCC この結果は、懸念を私に、それはいくつかの値の同時確率ということを意味するのでとのみに依存してではなく、。さらに、いくつかの漠然とした鐘が、非常に老朽化した多変数計算から鳴り響き、ヤコビアンと座標変換について思い出させようとしていますが、この統合アプローチが適切であるかどうかはわかりません。θθ\thetaNNNNNNθθ\theta 私はあなたの助けと洞察に感謝します。

8 self-study  bayesian  binomial 

統計学者が通常anova出力をどのように解釈するかについて質問があります。Rからanova出力があるとします。 > summary(fitted_data) Call: lm(formula = V1 ~ V2) Residuals: Min 1Q Median 3Q Max -2.74004 -0.33827 0.04062 0.44064 1.22737 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 2.11405 0.32089 6.588 1.3e-09 *** V2 0.03883 0.01277 3.040 0.00292 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ …

8 r  self-study  anova  interpretation 

実験中に3回評価された10人の参加者の2つのグループがあります。グループ間および3つの評価全体の違いをテストするために、group（コントロール、実験）、time（最初、2、3）、およびを使用して2x3混合設計ANOVAを実行しましたgroup x time。両方timeとgroup有意な相互作用があったほか、重大な結果group x time。 グループメンバーシップに関しても、3回の評価の違いをさらにチェックする方法をよく知りません。実際、最初は、ANOVAのオプションで、ボンフェローニの補正を使用してすべての主要な効果を比較することだけを指定しました。しかし、この方法で、グループを区別せずに、サンプル全体の時間の違いをこのように比較したことに気付きましたね。 したがって、可能な解決策を見つけるためにインターネットでたくさん検索しましたが、結果はほとんどありませんでした。私と同じようなケースは2つしか見つかりませんでしたが、解決策は逆です！ 記事では、混合設計の後、著者らは被験者ごとに1つずつ、2回の反復測定ANOVAを事後的に実行しました。このようにして、2つのグループは修正なしで個別に分析されます。 インターネットのガイドでは、混合ANOVAの実行中に、SPSS構文のCOMPARE(time) ADJ(BONFERRONI)直後にを手動で追加すると述べています/EMMEANS=TABLES(newgroup*time)。このように、3つの時間はグループごとに個別に比較されます。ボンフェローニ補正を使用すると、私は正しいのでしょうか。 どう思いますか？どちらが正しい方法でしょうか？

8 anova  mixed-model  spss  post-hoc  bonferroni  time-series  unevenly-spaced-time-series  classification  normal-distribution  discriminant-analysis  probability  normal-distribution  estimation  sampling  classification  svm  terminology  pivot-table  random-generation  self-study  estimation  sampling  estimation  categorical-data  maximum-likelihood  excel  least-squares  instrumental-variables  2sls  total-least-squares  correlation  self-study  variance  unbiased-estimator  bayesian  mixed-model  ancova  statistical-significance  references  p-value  fishers-exact  probability  monte-carlo  particle-filter  logistic  predictive-models  modeling  interaction  survey  hypothesis-testing  multiple-regression  regression  variance  data-transformation  residuals  minitab  r  time-series  forecasting  arima  garch  correlation  estimation  least-squares  bias  pca  predictive-models  genetics  sem  partial-least-squares  nonparametric  ordinal-data  wilcoxon-mann-whitney  bonferroni  wilcoxon-signed-rank  traminer  regression  econometrics  standard-error  robust  misspecification  r  probability  logistic  generalized-linear-model  r-squared  effect-size  gee  ordered-logit  bayesian  classification  svm  kernel-trick  nonlinear  bayesian  pca  dimensionality-reduction  eigenvalues  probability  distributions  mathematical-statistics  estimation  nonparametric  kernel-smoothing  expected-value  filter  mse  time-series  correlation  data-visualization  clustering  estimation  predictive-models  recommender-system  sparse  hypothesis-testing  data-transformation  parametric  probability  summations  correlation  pearson-r  spearman-rho  bayesian  replicability  dimensionality-reduction  discriminant-analysis  outliers  weka 

私はMCMCデータ拡張に関する質問を検討してきました。質問の一般的な形式は次のとおりです。 プロセスで収集されたデータがを示唆しており、rateパラメーターの事前として示唆されているとします。データは標準的な形式（つまり、からまでの各値の出現数）で記録および表示されますが、収集されたデータは、X_ {i} \ leq 1（つまりX_ {i} = 0およびX_ {i} = 1のすべてのオカレンスは1つのカテゴリーにグループ化されます）。Xi∼Pois(λ)Xi∼Pois(λ)X_{i} \sim \text{Pois}(\lambda)λ∼Exp(λ0)λ∼Exp(λ0)\lambda \sim \text{Exp}(\lambda_{0})XiXiX_{i}000nnnXi≤1Xi≤1X_{i} \leq 1Xi=0Xi=0X_{i} = 0Xi=1Xi=1X_{i} = 1 上記のデータ、可能性、事前情報を考慮して、質問では次のことが求められます。 後部形λλ\lambda、 X_ {i} = 0である発生回数Xi=0Xi=0X_{i} = 0。 私はこの質問にどのように答えるかは本当にわかりませんが、ギブスサンプリングがデータ拡張に使用できることを知っています。これをどのように行うことができるかについて誰かが何か情報を持っていますか？ 編集： 私はそれが主に2番目の部分（X_ {i} = 0である発生の数Xi=0Xi=0X_{i} = 0）であることを確信できません。最初の部分（\ lambdaの後方形式λλ\lambda）については、可能性と以前の提案が与えられたので、私は推論しました（ただし、修正してよかったのですが）。 与えられた： π(λ|x⃗ )∝p(x⃗ |λ)×p(λ)π(λ|x→)∝p(x→|λ)×p(λ) \pi(\lambda|\vec{x}) \propto p(\vec{x}|\lambda) \times p(\lambda) したがって、上記のモデルの場合： π（λ …

8 self-study  mcmc  monte-carlo  data-augmentation 

定理は、「有限状態空間Sの既約マルコフ連鎖の遷移行列が二重確率的である場合、その（一意の）不変測度はSにわたって均一です」です。 マルコフ連鎖に二重確率遷移行列がある場合、その制限確率が一様分布を構成することを読みましたが、その理由はよくわかりません。 私はこれを理解できる証拠を考え出して見つけようとしています。しかし、ここでの命題15.5のように、理解できない細部にわたってすべての光沢を見つけた証拠（[1、... 1]ベクトルを使用するだけでうまくいくのはなぜですか？）シンプル/詳細な証明？ （学校で提出するものの一部ではありませんが、受講するコースの一部なので、どちらの場合も宿題のタグを付けると思います。）

8 probability  self-study  markov-process 

Devoreの "Probability and Statistics"というテキストを読んでいます。推定の期待値と分散：私は、ページ740の2つの項目で探していますβ1β1\beta_1線形回帰で、スロープパラメータであるYi=β0+β1Xi+ϵiYi=β0+β1Xi+ϵiY_i = \beta_0 + \beta_1 X_i + \epsilon_i。ϵiϵi\epsilon_iガウス分布である（μ=0,variance=σ2μ=0,variance=σ2\mu = 0, variance=\sigma^2）確率変数とϵiϵi\epsilon_i独立しています。 推定値β1β1\beta_1：のように表すことができるβ1^=∑(xi−x¯)(Yi−Y¯)∑(xi−x¯)2=∑(xi−x¯)YiSxxβ1^=∑(xi−x¯)(Yi−Y¯)∑(xi−x¯)2=∑(xi−x¯)YiSxx\hat{\beta_1} = \frac{\sum (x_i - \bar{x}) (Y_i - \bar{Y})}{\sum(x_i-\bar{x})^2} = \frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}であり、ここでSxx=∑(xi−x¯)2Sxx=∑(xi−x¯)2S_{xx} = \sum (x_i - \bar{x})^2。だから、私の質問は：どのように私は、派生んE(β1^)E(β1^)E(\hat{\beta_1})とVar(β1^)Var(β1^)Var(\hat{\beta_1})？本は既に結果を与えた：E(β1^)=β1E(β1^)=β1E(\hat{\beta_1}) = \beta_1およびVar(β1^)=σ2SxxVar(β1^)=σ2SxxVar(\hat{\beta_1}) = \frac{\sigma^2}{S_xx}。 派生での私の仕事：E(∑(xi−x¯)YiSxx)=E(∑(xi−x¯)(β0+β1xi+ϵ)Sxx)=E(∑(xi−x¯)β1xiSxx)E(∑(xi−x¯)YiSxx)=E(∑(xi−x¯)(β0+β1xi+ϵ)Sxx)=E(∑(xi−x¯)β1xiSxx)E\left(\frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}\right) = E\left(\frac{\sum (x_i - \bar{x})(\beta_0 + \beta_1 x_i + …

8 regression  self-study  linear 

とが区間[0,1]の 2つのiid一様確率変数であると仮定し ます。XXXYYY[0,1][0,1][0,1] してみましょうZ=X/YZ=X/YZ=X/Y、私はのCDF探していますZZZ、すなわちPr(Z≤z)Pr(Z≤z) \Pr(Z\leq z) 。 今、私はこれを行う2つの方法を考え出しました。1つはpdfと一致する正しい答えを生成します：http : //mathworld.wolfram.com/UniformRatioDistribution.html、もう1つは生成しません。2番目の方法が間違っているのはなぜですか？ 最初の方法 Pr(Z≤z)=Pr(X/Y≤z)=Pr(X≤zY)=∫10∫min(1,zy)0dxdy=∫10min(1,zy) dyPr(Z≤z)=Pr(X/Y≤z)=Pr(X≤zY)=∫01∫0min(1,zy)dxdy=∫01min(1,zy) dy\newcommand{\rd}{\mathrm{d}} \Pr(Z\leq z) = \Pr(X/Y\leq z) = \Pr(X\leq zY) = \int^{1}_{0}\int^{\min(1,zy)}_{0} \rd x \rd y = \int^{1}_{0}\min(1,zy)\ \rd y =⎧⎩⎨∫1 / z0zy dy+∫11 / zd y∫10zy d y：z> 1：z≤ 1={∫01/zzy dy+∫1/z1dy：z>1∫01zy dy：z≤1 = \left\{ \begin{array}{lr} \int^{1/z}_{0}zy\ \rd …

8 distributions  self-study  cdf  uniform 

どのような機能です： fX(x)=2λπxe−λπx2fX(x)=2λπxe−λπx2f_X(x) = 2 \lambda \pi x e^{-\lambda \pi x ^2} これは一般的なディストリビューションですか？推定器を使用して信頼区間を見つけようとしていますが、これを証明するのに苦労していますestimatorには漸近正規性があります。λλ\lambdaλ^=nπ∑ni=1X2iλ^=nπ∑i=1nXi2\hat{\lambda}=\frac{n}{\pi \sum^n_{i=1} X^2_i} ありがとう

8 distributions  confidence-interval  estimation  self-study 

（これは簡単な質問です）最近、主成分分析を学んでいますが、多くの問題があるようです： PCAを適用する前に、データをほぼ同じスケールに変換する必要がありますが、機能スケーリングの実行方法は指定されていません。標準化？ユニット長へのスケーリング？対数変換？Box-Cox変換？私はそれらのすべてが何らかの方法で機能すると信じていますが、それらはさまざまな質問に答えます。そして、問題が与えられたときの変化を理解することは重要です。 PCAを実行するには、固有値と固有ベクトルを計算する必要がありますが、固有ベクトルの符号は不明です。一見すると、SVDは異なる実装間で同じ結果をもたらすため、優れたソリューションである可能性があります。しかし、私が理解しているように、SVDの結果は、任意の、しかし再現可能な固有ベクトルの選択にすぎません。 主成分は変数の線形結合ですが、意味がありますか？つまり、サルの体温は単位が異なるため、尾の長さの10倍にはできません。（単位といえば、どちらの単位系を使うべきかということは、私の最初のポイントの別の側面です） 主成分を解釈しようとするとき、番目の要素上の番目の主成分の負荷（係数）、またはそれらの相関を検査する必要がありますか？レンチャー（1992）は、係数のみを見ることを推奨していますが、私の知る限り、この問題についてコンセンサスはありません。iiiyiyiy_ijjjXjXjX_jcorr(yi,Xj)corr(yi,Xj)\text{corr}(y_i, X_j) 要約すると、PCAはプロセス全体に多数の主観性とバイアスを導入するため、私には非常に未熟に見える統計的（または間違いなく数学的）メソッドです。それにもかかわらず、それは依然として最も広く使用されている多変量分析法の1つです。それはなぜです？私が提起した問題を人々はどのように克服しますか？彼らも気づいていますか？ 参照： レンチャー、AC「正準判別関数、正準変量および主成分の解釈」アメリカ統計学者、46（1992）、217–225。

8 self-study  pca  multivariate-analysis  interpretation  reproducible-research 

注：これは宿題の問題ですので、完全な答えは出さないでください。 正規分布の2つの変数AとBがあります（平均と分散は既知です）。Cが50％の確率でA、50％の確率でBとして定義されているとします。Cも正規分布しているかどうかをどのように証明しますか？そうである場合、その平均と分散は何ですか？ AとBのPDFをこのように組み合わせる方法はわかりませんが、理想的には、誰かが私を正しい方向に向けることができる場合、私の攻撃計画はCのPDFを派生させて、それがaであるかどうかを示すことです通常のPDFのバリエーション。

8 self-study  random-variable  gaussian-mixture  finite-mixture-model 

私は、ポアソン分布と指数分布の両方におけるの役割と、確率を見つけるためにそれがどのように使用されるかを理解しようとしています（そうです、このトピックに関する他の投稿を読んだのですが、私にはまったく役に立ちませんでした）。λλ\lambda 私が理解していること（私は思う）は： ポアソン分布- 個別の λλ\lambda 時間または空間の単位あたりの成功の平均数として定義されます（ただし、「問題のコンテキスト」で「成功」が定義されます） PMF： P(X=k;λ)=λke−λk! P(X=k;λ)=λke−λk!~~P(X = k;\lambda) = \frac{ \lambda^ke^{-\lambda} }{k!} P(X≤k)=P(X=0) + P(X=1) + P(X=2) + … + P(X=k)P(X≤k)=P(X=0) + P(X=1) + P(X=2) + … + P(X=k)P(X\leq k) = P(X = 0)~+~P(X = 1)~+~P(X = 2)~+~\ldots~+~P(X = k) P(X<k)=P(X=0) + P(X=1) + P(X=2) + …

8 self-study  poisson-distribution  exponential-distribution 

私はディープラーニングが初めてで、行列に関して次の関数の導関数を計算しようとしています：ww\mathbf w p(a)=ew⊤axΣdew⊤dxp(a)=ewa⊤xΣdewd⊤xp(a) = \frac{e^{w_a^\top x}}{\Sigma_{d} e^{w_d^\top x}} 商規則を使用すると、次のようになります： ∂p(a)∂w=xew⊤axΣdew⊤dx−ew⊤axΣdxew⊤dx[Σdew⊤dx]2=0∂p(a)∂w=xewa⊤xΣdewd⊤x−ewa⊤xΣdxewd⊤x[Σdewd⊤x]2=0\frac{\partial p(a)}{\partial w} = \frac{xe^{w_a^\top x}\Sigma_{d} e^{w_d^\top x} - e^{w_a^\top x}\Sigma_{d} xe^{w_d^\top x}}{[\Sigma_{d} e^{w_d^\top x}]^2} = 0 ソフトマックス関数は一般的にディープラーニングのアクティベーション関数として使用されているため、私は何か間違っていると思います（したがって、常に導関数を持つことはできません）。私は同様の質問をしましたが、計算のこの部分については光沢がないようです。000 私は正しい方向へのポインタをいただければ幸いです。

8 machine-learning  self-study  neural-networks  derivative  softmax 

次の質問があります。 と思います （バツ1、y1）、（バツ2、y2）、⋯ 、（バツ10、y10）(x1,y1),(x2,y2),⋯,(x10,y10)(x_1,y_1),(x_2,y_2),\cdots,(x_{10},y_{10}) 上の二変量観測のセットを表します （X、Y）(X,Y)(X,Y) そのような バツ2=バツ３= ⋯ =バツ10≠バツ1。x2=x3=⋯=x10≠x1.x_2=x_3=\cdots =x_{10}\ne x_1. 最小二乗回帰線はどのような条件下で YYY オン バツXX 最小絶対偏差線と同じですか？ 私たちは見つけたいと言うことを知っています α^α^\hat{\alpha} そして β^β^\hat\beta そのような Y=α^+β^バツY=α^+β^XY=\hat\alpha+\hat\beta X; LSQメソッドはβ^=Σi = 110（バツ私−バツ¯）y私Σi = 110（バツ私−バツ¯）バツ私β^=∑i=110(xi−x¯)yi∑i=110(xi−x¯)xi\hat\beta={\sum\limits_{i=1}^{10} (x_i-\bar x)y_i\over \sum\limits_{i=1}^{10}(x_i-\bar x)x_i} それゆえ α^α^\hat\alpha。誰かが私を進めるのを手伝ってくれる？

8 regression  self-study  least-squares  least-absolute-deviations 

通常、私は仮説検定の方法に非常に精通していますが、が特定の値に等しいという別の仮説を見たことはありません。この状況では、どのように進めますか？これは私が遭遇した例です：μμ\mu 「分散正規性を仮定し、\ bar x = 58.05のサンプルサイズ20を 使用し、\ alpha = 0.05を選択してσ2=9σ2=9σ^2 = 9、対立仮説\ mu = 57.0に対して帰無仮説\ mu = 60.0をテストします。 "μ=60.0μ=60.0\mu = 60.0μ=57.0μ=57.0\mu = 57.0202020x¯=58.05x¯=58.05\bar x = 58.05α=0.05α=0.05\alpha = 0.05

8 hypothesis-testing  self-study