タグ付けされた質問 「markov-process」

私は4つの状態のシーケンスのセット（正確には432の観測）を持っています：例A−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) 編集：観測シーケンスの長さが等しくありません！これは何かを変えますか？ MatlabまたはRなどで遷移行列を計算する方法はありますか？HMMパッケージが役立つと思います。何かご意見は？Pij(Yt=j|Yt−1=i)Pij(Yt=j|Yt−1=i)P_{ij}(Y_{t}=j|Y_{t-1}=i) 例：マルコフ連鎖確率の推定

16 r  matlab  markov-process 

マルコフ連鎖とマルコフ過程の違いは何ですか？ 私は矛盾する情報を読んでいます：時々、定義は状態空間が離散的であるか連続的であるかに基づいており、時にはそれは時間が離散的であるか連続的であるかに基づいています。 このドキュメントのスライド20： 状態空間が離散的、すなわち有限または可算空間である場合、すなわち有限または可算である場合、マルコフ過程はマルコフ連鎖と呼ばれます。 http://www.win.tue.nl/~iadan/que/h3.pdf： マルコフ過程は、マルコフ連鎖の連続時間バージョンです。 または、マルコフ連鎖とマルコフプロセスを同義的に使用して、時間パラメータが連続的か離散的か、および状態空間が連続的か離散的かを正確に判断できます。 更新2017年3月4日：同じ質問がで頼まれたhttps://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

16 terminology  stochastic-processes  markov-process 

私の基本的な質問は、不適切な分布からどのようにサンプリングするのですか？不適切な分布からサンプリングすることも理にかなっていますか？ ここでの西安のコメントは、この種の問題に対処するものですが、これについての詳細を探していました。 MCMCに固有： MCMCについて話し、論文を読む際に、著者は適切な事後分布を取得したことを強調します。著者が後部が適切かどうかを確認するのを忘れた有名なGeyer（1992）の論文があります（そうでない場合は優れた論文）。 しかし、尤度と事前分布が不適切であり、結果の事後分布も不適切であり、MCMCを使用して分布からサンプリングするとします。この場合、サンプルは何を示していますか？このサンプルに役立つ情報はありますか？ここで、マルコフ連鎖は一時的またはヌル再帰的であることを認識しています。null再発の場合、肯定的なテイクアウェイはありますか？f(x|θ)f(x|θ)f(x|\theta)θθ\theta 最後に、ここでのニールGの回答では、彼は 通常、MCMCを使用して、たとえ不適切であったとしても、後方からサンプリングできます。 彼は、このようなサンプリングはディープラーニングでは一般的だと述べています。これが正しい場合、これはどのように意味がありますか？

15 distributions  bayesian  mcmc  markov-process  improper-prior 

SASを使用してマルコフ連鎖を理解しようとしています。マルコフ過程は、将来の状態が現在の状態にのみ依存し、過去の状態には依存せず、ある状態から別の状態への遷移確率をキャプチャする遷移行列があることを理解しています。 しかし、その後、私はこの用語に出くわしました：マルコフチェーンモンテカルロ。私が知りたいのは、マルコフ連鎖モンテカルロが上記のマルコフ過程に関係があるかどうかです。

15 probability  simulation  mcmc  monte-carlo  markov-process 

MCMCに関連するいくつかの講義を受けていました。ただし、使用方法の良い例は見つかりません。誰でも私に具体的な例を与えることができます。私が見ることができるのは、それらがマルコフ連鎖を実行し、その定常分布が望ましい分布であると言うことです。 希望する分布をサンプリングするのが難しい良い例が欲しいです。そこで、マルコフ連鎖を作成します。マルコフ連鎖の定常分布がターゲット分布になるように遷移行列を選択する方法を知りたい

14 probability  bayesian  mcmc  markov-process 

強化学習：はじめに。 第2版​​、進行中。、リチャードS.サットンおよびアンドリューG.バート（c）2012、pp。67-68。 強化学習タスクを解決するということは、おおまかに言って、長期的に多くの報酬を達成するポリシーを見つけることを意味します。有限MDPの場合、次の方法で最適なポリシーを正確に定義できます。値関数は、ポリシーに対する部分的な順序付けを定義します。ポリシーポリシーに等しいか、より良くなるように定義されたその期待収益がより大きい場合またはそれに等しいすべての状態のため、。つまり、すべて、場合に限り、となります。他のすべてのポリシーと同等以上のポリシーが常に少なくとも1つあります。これは最適なポリシーです。ππ\piπ′π′\pi'π′π′\pi'π≥π′π≥π′\pi \geq \pi'vπ(s)≥vπ′(s)vπ(s)≥vπ′(s)v_\pi(s) \geq v_{\pi'}(s)s∈Ss∈Ss \in \mathcal{S} 他のすべてのポリシー以上のポリシーが常に少なくとも1つあるのはなぜですか？

13 markov-process  reinforcement-learning 

Euler-Maruyamaスキーム、Milsteinスキーム（またはその他）を使用する（1）のような非均質非線形拡散からのパスをシミュレートするための、一般的でクリーンで高速な（つまりC ++ルーチンを使用する）Rパッケージを探しています。これは、より大きな推定コードに組み込まれる予定であるため、最適化する価値があります。 dバツt= f（θ 、t 、Xt）dt + g（θ、t 、Xt）dWt、（1）（1）dバツt=f（θ、t、バツt）dt+g（θ、t、バツt）dWt、dX_t = f(\theta, t, X_t)\, dt + g(\theta, t, X_t)\, dW_t, \tag{1} 標準ブラウン運動。 WtWtW_t

13 r  simulation  stochastic-processes  markov-process 

時系列を与えられたMC遷移行列を推定する一般的な方法は何でしょうか？ それを行うためのR関数はありますか？

12 markov-process 

遷移確率と定常分布πに対して、マルコフ連鎖はq （x | y ）π （y ）= q （y | x ）π （x ）、qqqππ\piq（x | y）π（y）= q（y| x）π（x ）、q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), これは、次のように言い換えると、より理にかなっています。 q（x | y）q（y| x）= π（x ）π（y）。q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. 基本的に、状態から状態yへの遷移の確率は、それらの確率密度の比に比例するはずです。バツxxyyy

12 probability  mcmc  markov-process 

還元不可能なマルコフ連鎖特性を理解するのに問題があります。 還元不可能とは、確率論的プロセスが「任意の状態から任意の状態に進む」ことができることを意味すると言われています。 しかし、それが状態から状態に移行できるかどうか、または移行できないかどうかはどう定義されていますか？jiiijjj ウィキペディアのページには、形式化を与えます： 状態あるアクセス（書き込み状態から）整数存在する場合、 ST i → j i n i j > 0 P （X n i j = j | X 0 = i ）= p （n i j）i j > 0jjji→ji→ji\rightarrow jiiinij>0nij>0n_{ij}>0P(Xnij=j | X0=i)=p(nij)ij>0P(Xnij=j | X0=i)=pij(nij)>0P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0 その後、通信があればあると。j → 私i→ji→ji\rightarrow jj→ij→ij \rightarrow i これらの既約性はどういうわけか続きます。

12 stochastic-processes  markov-process 

ニューラルネットワークとグラフィカルモデルを数学的に結びつけるのに苦労しています。 グラフィカルモデルでは、アイデアは単純です。確率分布はグラフのクリークに従って因数分解され、ポテンシャルは通常指数関数的ファミリーです。 ニューラルネットワークに同等の推論はありますか？制限付きボルツマンマシンまたはCNNのユニット（変数）の確率分布を、それらのエネルギー、またはユニット間のエネルギーの積の関数として表現できますか？ また、確率分布は、指数ファミリーのRBMまたはディープビリーフネットワーク（CNNなど）によってモデル化されていますか？ ジョーダン＆ウェインライトがグラフィカルモデル、指数ファミリ、変分推論を使用してグラフィカルモデルに対して行ったのと同じ方法で、これらの最新タイプのニューラルネットワークと統計の間の接続を形式化するテキストを見つけたいと思っています。どんなポインタでも素晴らしいでしょう。

11 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

いくつかのプロセスの時系列をシミュレートするために使用される確率モデルがあります。1つのパラメーターを特定の値に変更した場合の影響に興味があり、時系列（モデルAとモデルBなど）とある種のシミュレーションベースの信頼区間の違いを示したいと思います。 私は単純に、モデルAからの一連のシミュレーションとモデルBからの一連のシミュレーションを実行し、各時点の中央値を差し引いて、時間全体の中央値の差を求めています。同じ方法を使用して、2.5と97.5の分位数を見つけました。私は各時系列を一緒に考慮していないので、これは非常に保守的なアプローチのように見えます（たとえば、各ポイントは過去および将来の時間で他のすべてのポイントから独立していると見なされます）。 これを行うより良い方法はありますか？

11 time-series  predictive-models  markov-process 

プロジェクトオイラー213を解決したいのですが、統計学の専門家なので、どこから始めればよいかわかりません。正確な回答が必要なため、モンテカルロ法が機能しないことに注意してください。いくつかの統計トピックをお勧めしますか？ここに解決策を投稿しないでください。 ノミサーカス 30×30の正方形のグリッドには900ノミが含まれ、最初は1正方形あたり1ノミです。ベルを鳴らすと、各ノミは隣接する正方形にランダムにジャンプします（通常、グリッドの端またはコーナーのノミを除き、4つの可能性があります）。 ベルが50回鳴った後の空いている正方形の予想数はいくつですか？小数点以下6桁に四捨五入して回答してください。

11 self-study  monte-carlo  markov-process 

で（観測された）時系列が与えられると、（つまり、マルコフプロパティ）？XtXtX_tXt∈{1,...,n}Xt∈{1,...,n}X_t\in\{1,...,n\}P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(X_t|X_{t-1},X_{t-2},...,X_1)=P(X_t|X_{t-1})

11 time-series  hypothesis-testing  markov-process 

次の形式のGLMMがあります。 lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) 私が使用している場合drop1(model, test="Chi")、私は私が使用している場合とは異なる結果を得るAnova(model, type="III")車のパッケージからかsummary(model)。後者の2つは同じ答えを与えます。 大量の偽造データを使用して、これらの2つの方法は通常違いがないことがわかりました。それらは、平衡線形モデル、不平衡線形モデル（異なるグループでnが等しくない場合）、および平衡一般化線形モデルに対して同じ答えを示しますが、平衡一般化線形混合モデルに対しては同じ答えを与えません。したがって、ランダムな要素が含まれている場合にのみ、この不一致が現れます。 これらの2つの方法の間に違いがあるのはなぜですか？ GLMMを使用する場合は必要がありますAnova()かdrop1()使用できますか？ これらの2つの違いは、少なくとも私のデータでは、かなりわずかです。どちらを使用するかは問題ですか？

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion