タグ付けされた質問 「markov-process」

数千の一次マルコフ連鎖のデータセットを約10個のクラスターにクラスター化しました。 これらのクラスターを評価し、クラスター内のアイテムが共有しているアイテムを見つけ、他のクラスターとどのように異なるかを知るための推奨される方法はありますか？したがって、「クラスターAのプロセスは、いったんそこに到達すると状態Yに留まる傾向がありますが、他のクラスターのプロセスには当てはまりません」のようなステートメントを作成できます。 それらのマルコフ連鎖の遷移行列は大きすぎて、単に「見て」見ることはできません。それが役立つ場合、それらは比較的まばらです。 私のアイデアは、クラスター内のすべての遷移行列を取り、それらを合計し、それを画像の強度として（0〜255のスケールで）プロットすることでした。私が試すべきもっと「プロフェッショナル」なものはありますか？

10 data-visualization  clustering  markov-process 

Interviewstreetには、1月に2番目のCodeSprintがあり、以下の質問が含まれていました。プログラムによる回答が投稿されていますが、統計的な説明は含まれていません。 （Googleの資格情報を使用してInterviewstreet Webサイトにサインインし、このページからコイントス問題に移動すると、元の問題と投稿された解決策を確認できます。） コイントス 公平なコインを持っているので、N枚の連続した表が出るまでトスを続けます。あなたはコインをM回投げましたが、驚くべきことに、すべての投げは表になりました。 N連続の頭を取得するまでに必要な追加のトスの予想数はいくつですか？ 入力： 最初の行にはケースの数Tが含まれています。次のT行のそれぞれには、2つの数値NとMが含まれています。 出力： 対応するテストケースの回答を含むT行を出力します。正確に小数点以下2桁に丸めて回答を出力します。 入力例： 4 2 0 2 1 3 3 3 2 出力例： 6.00 4.00 0.00 8.00 サンプルの説明： N = 2かつM = 0の場合、2つの連続した表が出るまでコインを投げ続ける必要があります。平均して6回のコイントスが必要であることを示すことは難しくありません。 N = 2およびM = 1の場合、2つの連続したヘッドが必要で、すでに1を持っています。何があってももう一度トスする必要があります。その最初のトスでは、あなたが頭を得れば、あなたは終わりです。それ以外の場合は、連続カウンターがリセットされたときに最初からやり直す必要があり、N = 2の連続ヘッドが得られるまでコインを投げ続ける必要があります。したがって、コイントスの予想数は1 +（0.5 * 0 + 0.5 * 6）= 4.0です。N= 3かつM = 3の場合、すでに3つの頭があるので、これ以上トスは必要ありません。 私が思いついたすべての数式は、上記のサンプル入力データに対して正解でしたが、他のすべての入力セット（不明）に対しては間違っていました。彼らのプログラムによる解決策は、方程式を使って試してみる方法とはかなり異なる方法で問題を解決しているようです。誰かがこれを解決する方程式を考え出す方法を説明できますか？

10 probability  stochastic-processes  markov-process 

私は現在、Webサイトで分析を行っています。そのため、Webサイトにアクセスしたときに人々がたどる可能性のある経路を示すディシジョンツリー図を作成する必要があります。data.frameホームページから、すべてのお客様のサイトへの経路を表示するa を扱っています。たとえば、顧客は次の方法をとることができます。 Homepage - pg 1 Kitchen Items page - pg 2 Pots and Pans page - pg 3 したがって、この顧客は3ページの移動を行うことになります。私がRでやろうとしていることは、すべての顧客のパスを組み合わせて、サイトの特定のパスをたどる顧客に確率を割り当てることです。たとえば、すべてのパスを調べると、ホームページにアクセスした人の34％が「キッチンアイテムのページ」にアクセスすることがわかりました。Rにはこの機能がありますか？ rpartとpartykitパッケージを使用してさまざまなメソッドを調べましたが、それらは役に立たないようです。 このための正しい方向への操縦は非常に高く評価されています！

10 r  probability  data-visualization  markov-process 

誰かが隠れマルコフモデルが期待値の最大化とどのように関連しているかを明確にできますか？私は多くのリンクを通過しましたが、明確なビューを思い付くことができませんでした。 ありがとう！

10 markov-process  expectation-maximization  hidden-markov-model 

\newcommand{\E}{\mathbb{E}}\newcommand{\P}{\mathbb{P}}中心極限定理（CLT）は、X1,X2,…X1,X2,…X_1,X_2,\dots独立しており、E[Xi]=0E[Xi]=0\E[X_i]=0およびVar(Xi)&lt;∞Var⁡(Xi)&lt;∞\operatorname{ Var} (X_i)<\infty、合計はn \ to \ inftyとして正規分布に収束しn→∞n→∞n\to\inftyます： ∑i=1nXi→N(0,n−−√).∑i=1nXi→N(0,n). \sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right). 代わりに、X_1、X_2、\ dotsが、期待値0と有界分散のX1,X2,…X1,X2,…X_1,X_2,\dotsある定常分布\ P_ \ inftyの有限状態マルコフ連鎖を形成するP∞P∞\P_\inftyと仮定します。この場合のCLTの単純な拡張はありますか？ マルコフ連鎖のCLTで見つけた論文は、一般に、はるかに一般的なケースを扱っています。関連する一般的な結果へのポインタとそれがどのように適用されるかの説明に非常に感謝します。

10 markov-process  central-limit-theorem 

これは私が何度か遭遇した例にすぎないため、サンプルデータはありません。Rで線形回帰モデルを実行する： a.lm = lm(Y ~ x1 + x2) x1は連続変数です。x2カテゴリ型で、「低」、「中」、「高」の3つの値があります。ただし、Rによって与えられる出力は次のようになります。 summary(a.lm) Estimate Std. Error t value Pr(&gt;|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 私は、Rがそのような要因（要因x2であること）に何らかのダミーコーディングを導入していることを理解しています。私はただ疑問に思っていx2ます。「高」の値をどのように解釈しますか？たとえば、ここで示した例の「High」x2は応答変数にどのような影響を与えますか？ これの例を他の場所（例：ここ）で見ましたが、理解できる説明は見つかりませんでした。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

まず、統計と数学に精通しているわけではないことを前もって認識させてください。危険を冒すのに十分な知識があると言う人もいます。：DI用語を正しく使用していない場合は、謝罪します。 システムがある状態から別の状態に遷移する確率をモデル化しようとしています。単純なマルコフモデルは良い出発点です。（状態のセット、初期状態の確率のセット、状態間の遷移確率のセット。） ただし、私がモデリングしているシステムは、それよりも複雑です。時間Tの状態に至る遷移確率は、T-1の状態以外の変数に確実に依存しています。たとえば、S1-&gt; S2の遷移確率は、太陽が輝いている場合は40％ですが、雨が降っている場合はS1-&gt; S2の確率は80％になります。 コメント投稿者の質問からの追加情報： 状態は観察可能です。 状態は5〜10のみです。 現在、調査したい共変量は約30ありますが、最終的なモデルは確かにこれよりも少なくなります。 一部の共変量は連続的であり、その他は離散的です。 3つの質問： 条件付き遷移確率をマルコフモデルに組み込むにはどうすればよいですか？ または、私がこの問題に取り組む必要がある完全に別の視点がありますか？ また、これについて詳しく知るためにオンラインで検索する必要があるキーワード/概念は何ですか？ 私はすでに「条件付き遷移確率のあるマルコフモデル」のようなものを検索してきましたが、これまでのところ、私に直面したことはなく、「これはあなたの答えです、ダミーです！」 あなたの助けと忍耐をありがとう。

10 markov-process  conditional-probability 

あり、多くの文献には、そこに診断で最も人気のGelman-Rubin氏を含むマルコフ連鎖モンテカルロ（MCMC）収束診断について。ただし、これらはすべてマルコフ連鎖の収束を評価し、バーンインの問題に対処します。 バーンインがわかったら、推定プロセスを続行するのに十分な数のMCMCサンプルをどのように決定すればよいですか？MCMCを使用するほとんどの論文は、マルコフ連鎖を回反復して実行したと述べていますが、その数を選択した理由/方法については何も述べていません。んnnんnn さらに、マルコフ連鎖における相関は問題ごとに大きく異なるため、1つの望ましいサンプルサイズがすべてのサンプラーの答えになるわけではありません。それで、必要なサンプルの数を見つけるための規則はありますか？

10 sample-size  mcmc  monte-carlo  markov-process 

Q1：強化学習一般で非定常環境を処理するための一般的な方法または受け入れられている方法はありますか？ Q2：グリッドワールドで、州にアクセスすると報酬関数が変化します。エピソードごとに報酬が初期状態にリセットされます。エージェントに学習してもらいたいのは、「本当に必要な場合以外は戻らないでください」だけですが、これにより環境が非定常になります。この非常に単純なルールをMDPモデルに組み込むことはできますか？Qラーニングは、この問題に対処するための最良の解決策ですか？提案や利用可能な例はありますか？ Q3：継続的な更新を非相関化するため、静止していない環境を処理するためのソリューションとして、エクスペリエンスの再生を伴うQラーニングを検討しています。これはメソッドの正しい使い方ですか、それとも学習をより効率的にするための対処法ですか？そして、私はそれを値の近似で使用するのを見ただけです。gridworldのように単純な離散化された状態空間に使用するのはやり過ぎなのか、それとも別の理由があるのか​​はわかりません。 すべての質問に対応できない場合でも、お気軽に回答またはコメントしてください。

9 markov-process  reinforcement-learning  stationarity  q-learning 

私は現在、マルコフチェーンを使用しており、いくつかのソース（つまり、aからbへの遷移の数をaから他のノードへの全体的な遷移の数で割ったもの）によって提案された遷移確率を使用して最尤推定を計算しました。 次に、MLEの対数尤度を計算します。

9 maximum-likelihood  markov-process  likelihood 

以下の移植片は、この記事から引用したものです。私はブートストラップの初心者であり、R bootパッケージを使用した線形混合モデルのパラメトリック、セミパラメトリック、ノンパラメトリックのブートストラップブートストラップを実装しようとしています。 Rコード これが私のRコードです： library(SASmixed) library(lme4) library(boot) fm1Cult &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn &lt;- function(data, indices){ data &lt;- data[indices, ] mod &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out &lt;- boot(data=Cultivation, statistic=boot.fn, R=99) Out ご質問 …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

リンゴは五角形A B C D Eの頂点AAAにあり、ワームは2つの頂点Cにあります。ワームは毎日、隣接する2つの頂点の1つと同じ確率でクロールします。したがって1日後にワームが頂点であるB又はD確率でそれぞれ、1 / 2。2日後、以前の位置の記憶がないため、ワームは再びCに戻る可能性があります。頂点Aに到達すると、食事を停止します。ABCDEABCDEABCDECCCBBBDDD1/21/21/2CCCAAA （a）夕食までの日数の平均は何ですか？ （b）日数が100100100以上になる確率をpとする。マルコフの不等式はについて何と言っていpppますか？ （a）について、XXX夕食までの日数で定義された確率変数とします。したがって、P(X=0)=0P(X=1)=0P(X=2)=1(52)⋮P(X=0)=0P(X=1)=0P(X=2)=1(52)⋮ P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots 一般的な分布はどうなりますか？ （b）の場合、（a）がわかっていれば、P(X≥100)≤E(X)100P(X≥100)≤E(X)100P(X \geq 100) \leq \frac{E(X)}{100}

8 probability  markov-process 

多くの場合、文学では、著者は時系列プロセスの定常分布を見つけることに関心を持っています。たとえば、次の単純なAR（検討）プロセス：。111{Xt}{Xt}\{X_t\}Xt=αXt−1+et,Xt=αXt−1+et,X_t = \alpha X_{t-1} + e_t, et∼iidfet∼iidfe_t\stackrel{iid}{\thicksim} f 確率過程の定常分布を見つける動機は何でしょうか？ 結果の定常分布を使用して、他にどのような（理論的および実用的な）分析を行うことができますか？ 定常分布が存在しない場合の問題は何ですか？プロセスは役に立たなくなりますか？ 定常分布は存在するが、閉形式がない場合はどうなりますか？同じの閉形式表現がないことの欠点は何ですか？

8 distributions  markov-process  stationarity  autoregressive  intuition 

合成時系列を生成したい。時系列は、ガンマ周辺分布と AR（1）パラメーターを持つマルコフ連鎖である必要があります。AR（1）モデルのノイズ項としてガンマ分布を使用するだけでこれを実行できますか、それともより高度なアプローチを使用する必要がありますか？ρρ\rho

8 time-series  markov-process  gamma-distribution  autoregressive 

ポリシーと値の反復アルゴリズムを使用して、マルコフ決定プロセスの問題を解決できます。収束に必要な条件を理解するのに苦労しています。最適なポリシーが2つのステップ（つまり、反復iとi + 1）の間に変化しない場合、アルゴリズムが収束したと結論付けることができますか？そうでない場合、いつですか？

8 algorithms  markov-process  convergence