タグ付けされた質問 「machine-learning」

統計学についてのヴァプニクの本を見ました...最初のいくつかの章を読みました。とにかく私を最も驚かせたのは、オッカムのかみそりは時代遅れだと彼が思ったということでした。 私はそれが高い次元を想定するとフィットが大幅に改善される状況に関連していると思いました。 わかりましたか？OccamのかみそりがVapnikが言ったように正しくないことができないのは正しいですか？ Occamのかみそりをデフォルトと見なすべきではないという議論はありますか？ 正確な文は、序文から第2版のThe Nature of Statistical Learningにあります。 本の初版からの年月はまた、帰納問題の性質の理解における一般的な哲学を変えました。SVMで多くの実験が成功した後、研究者たちはOccamのかみそりの原理に基づいた一般化の古典的な哲学に対する批判にさらに強くなりました。」 私は誰かがオッカムのかみそりに関する批判について詳しく説明できればいいのにと思います。

9 machine-learning  svm 

私は以下の問題を扱ってきました。私は一種のリアルタイムシステムを持っており、タイムフレームごとに現在の値を読み取り、時系列（1、12、2、3、5、9、1など）を作成します。オンラインで（新しい値が読み込まれるたびに）次の値を予測する方法（統計および機械学習）を知りたいのですが。RのARIMAとWekaのSMOregを試してみましたが、良い予測が得られましたが、新しい値が来るたびに計算をやり直さなければならないので、それらは少し遅いです。 PSメソッドが信頼区間を持っている場合も素晴らしいです。

9 time-series  machine-learning  online  forecasting 

例えば： ANNやSVMを使用して、複数の時系列の以前の値に基づいて時系列の将来の値を予測したい。入力は各時系列からの遅れた値であり、出力は1ステップ先の予測になります（これまでの予測を使用して予測を前方に「ローリング」することにより、さらなる視野を持つ予測が行われます）。 さて、SVMとANNはトレンドとサイクルを学習できてはなりませんか？「他のすべてが等しい場合、このシリーズの出力は前の出力の2倍になるはずです」などのことを学習できませんか？または、月のカテゴリ変数を指定した場合、「1月なので、行った予測を2で割りますか？」 データをリサイクルおよびトレンド除去しようとすると、必要以上にバイアスがかかりますか？

9 time-series  machine-learning  stationarity  prediction 

この抽象的な問題に直面するための良いテクニックはどれですか？ 物理的なセンサーからのデータのように、連続信号のデータストリームがあります。その信号には実際の（離散化された）値があり、属性はありません。依存性の特徴（例：パワー、自己相関、エントロピー）が抽出される場合があります。有限セットの1つのラベルを信号のウィンドウに割り当てることができます。このラベルをトレーニングラベルにします。ウィンドウの始点と終点、およびウィンドウラベルを選択する必要があります。 信号が受信されたときと同じように、タスクは次のウィンドウをオンラインで分類することです。 私はインクリメンタルアルゴリズムを求めています。より多くのトレーニングラベルが与えられれば、検出パフォーマンスが向上するという意味です。ただし、トレーニングラベルが1つしかない場合でも分類できる必要があります。 Windows境界の検出が原因で問題が難しすぎる場合は、小さな定数でサイズを修正できるとしましょう。したがって、アルゴリズムは信号の小さなスライスを分類し、同じラベルを持つ隣接するスライスをマージします。その簡略化されたアプローチを使用する場合は、それが合理的である理由を正当化してください。

9 machine-learning  classification  signal-processing  online 

なぜ私がこれらの愚かな質問をするのかを説明するために、以下で見つけることができます。私はより機械学習の人であると言わなければなりません。私はバイオインフォマティクスの問題に取り組みましたが、すべてが順調でした。「回帰」や「尖度とゆがみ」などの言葉を聞いたとき、最初は微笑んだだけで、2番目のケースは「はい、聞いたことがある。それを計算する方法を知っていますが、なぜ地球上で誰もがそれを必要とするのですか？」 1年前の状況は劇的に変化しました。楽しみのために、機械学習の知識をいくつかの財務時系列に適用しようとしました。 「テクニカル」「分析」「指標」から提供される信号からベイジアンネットワークを作成することから始めました。アイデアは失敗しました。また、このサイト（ベイジアンの代わりにニューラルネットワークを使用）で同様のアイデアを持つ少なくとも2つのトピックを見つけることは、いくらか喜ばしいことでした。 次に、多くの努力の結果、kNNとシンボリック回帰の混合を構築することができました。これは、2000年から2006年までの1時間のデータでトレーニングし、2007年のデータでテストしました。しかし、それを最新のデータに適用すると、経済の急激な変化により精度が大幅に低下し、市場で何かが変化し、2-5でしか取得できない新しいデータが必要になったため、精度が低下していることに気付きました。年。 後で、たくさんのことを試しましたが、もしこのすべてが「ただの楽しみ」として始まったとしたら、それはもう楽しくありませんでした。私がARIMA、GARCH、TARやその他のまったく新しいものについてRuey S. Tsayのオンライン講義を見つけるまでは。 基本的に私は全く新しい世界を見つけ、それを本当に楽しんでいます。現在、私は最初のARIMAモデルに適合させることができました。次に、ACF、PACF、季節性などを検討することにより、rms-errorを2回削減するように調整しました。 さて、楽しみは戻ってきました、私はそれをたくさん持っていました、そして私はもっと持っていると期待しています しかし、いくつか質問があり、この素晴らしいサイトを見つけました。ここでは、ARIMAとその他の関連技術に関するほぼすべてのトピックを読み、同様のアプローチに関連する他の多くの一般的なトピックも読んでください。確かにもっと読むでしょう。私はまだ機械学習アプローチの考え方の枠内で考えています。それは多くの愚かな質問につながり、そのほとんどはこのサイトで答えを見つけます。 だから、この長い紹介の後に、私の残りの愚かな質問があります： 機械学習アプローチはデータ内の「パターン」を見つけることについてより関心がありますが、ランダムウォーク理論を広く使用する金融時系列の統計モデル（パターンの存在を少なくとも疑わしくします）と矛盾します。非常にナイーブで誤った説明ですが、私が言いたいのは、ほとんどの機械学習手法は、問題に対する統計的アプローチと概念的に矛盾しているということです。いくつかのアプローチの方が優れていると言っているのではなく、矛盾していると言っているだけです。それは正しいですか、この矛盾はどのくらい大きいですか？ 機械学習と統計の融合のように見えるTARモデルの説明とアイデアが本当に気に入りました。これは、ARIMAにGARCHを追加した後で次に試してみたいモデルです。しかし、私はそれについていくつか質問があります： TARは統計的手法と機械学習手法の両方を使用しています。それで、私の最初の質問を念頭に置いて、モデルのセットのパターンを見つけようとすると、基本的にパターンを除外する理論に基づいて構築されていますが、エラーはありませんか？または、同じ問題のさまざまな側面を研究する2つのモデルを1つのさらに強力なモデルに結合する方法の単なるアイデアですか？ このサイトで「ARIMA」というキーワードで検索すると、15ページのトピックが表示されますが、TARの場合は1つしかありません。また、なぜARの適用をやめたのですか？このアイデアをより複雑なモデル（ARIMAなど）に拡張してみませんか？TARがARに対して期待された改善を提供しなかったからでしょうか？ MCMCの手法やその他の機械学習の要素が現在統計モデルと混合されていることを知っています。個人的には、隠れマルコフモデルと条件付きランダムフィールドの大ファンでもあります。これらの方法と統計モデルの混合について知っていますか？

9 machine-learning  arima  finance 

バプニクの統計学習理論に詳しい人のために、「学習の一貫性」の概念に関して2つの質問があります。 質問1. 学習プロセスは一貫性と呼ばれます（関数のクラスに対して）FF\mathcal{F}および確率分布）PPP Re m p（f∗l）→PINFf∈ FR （f）、l → ∞Remp(fl∗)→Pinff∈FR(f),l→∞ R_{emp}(f^*_l) \buildrel P \over \to \inf_{f \in \mathcal{F}} R(f),\;l \to \infty and R （f∗l）→PINFf∈ FR （f）、l → ∞R(fl∗)→Pinff∈FR(f),l→∞ R(f^*_l) \buildrel P \over \to \inf_{f \in \mathcal{F}} R(f),\;l \to \infty これら2つの条件は独立しています。p。Vapnikの「Statistical Learning Theory」の83には、2番目の収束は行われるが最初の収束は行われないような分類子のセットFF\mathcal{F}例があります。最初の収束は行われるが2番目の収束は行われず、何も得られないような一連の分類子の例について考えていました。誰か私をここで助けてもらえますか？ 質問2. 学習プロセスは、実数cが\ Lambda（c）= \であるようなRの場合、（関数クラスFF\mathcal{F}および確率分布PPP）自明ではない（または厳密に一貫している）と呼ばれます{f | R（f）\ geq c …

9 machine-learning 

株式市場向けの自動取引システムを開発しています。大きな課題は過剰適合です。過剰適合を測定して回避する方法を説明するリソースをいくつか推奨できますか？ 私はトレーニング/検証セットから始めましたが、検証セットは常に汚染されています。 また、市場は常に変化しているため、時系列データも常に変化しています。これをどのように測定し、目に見えないデータで一貫した結果が得られる可能性を判断しますか？ ありがとう。

9 time-series  machine-learning  dataset  data-mining  validation 

最新のGPML MatlabコードGPML Matlabコードをダウンロードし、ドキュメントを読み、問題なく回帰デモを実行しました。しかし、私が直面している回帰問題にそれを適用する方法を理解するのに苦労しています。 回帰問題は次のように定義されます。 ましょうである入力ベクトルとであり、それに対応するターゲット。個の入力のセットは行列配置され、対応するターゲットは行列格納されます、はの平均目標値です。バツ私∈R20xi∈R20\mathbf{x}_i \in \mathbb{R}^{20}y私∈R25yi∈R25\mathbf{y}_i \in \mathbb{R}^{25}MMMX =[バツ1、… 、バツM]⊤X=[x1,…,xM]⊤\mathbf{X} = [\mathbf{x}_1, \dots, \mathbf{x}_M]^\topY =[y1−y¯、… 、yM−y¯]⊤Y=[y1−y¯,…,yM−y¯]⊤\mathbf{Y} = [\mathbf{y}_1 - \mathbf{\bar{y}}, \dots, \mathbf{y}_M-\mathbf{\bar{y}}]^\topy¯y¯\mathbf{\bar{y}}YY\mathbf{Y} 二乗指数関数を使用して、GPRモデルをトレーニングしたいと思います。G= { X、Y、θ }G={X,Y,θ}\mathcal{G} = \lbrace \mathbf{X}, \mathbf{Y}, \theta \rbrace k （バツ私、バツj）=α2exp （ −12β2（バツ私−バツj）2） +γ2δ私はjk(xi,xj)=α2exp(−12β2(xi−xj)2)+γ2δijk(\mathbf{x}_i, \mathbf{x}_j) = \alpha^2 \text{exp} \left( - \frac{1}{2\beta^2}(\mathbf{x}_i - \mathbf{x}_j)^2\right) + \gamma^2\delta_{ij}、 ここでに等しい場合と、さもなければ。ハイパーパラメーターは、はトレーニングデータの想定ノイズレベルで、は長さスケールです。δ私はjδij\delta_{ij}111i=ji=ji …

9 regression  machine-learning  matlab  gaussian-process 

可能性を最大化することは、クロスエントロピーを最小化することと同等であるという声明があります。この声明の証拠はありますか？

9 machine-learning  mathematical-statistics  maximum-likelihood  cross-entropy 

私はPymcのgithubリポジトリを閲覧していて、このノートブックを見つけました。 変分推論：ベイジアンニューラルネットワーク 著者は、ベイジアン/確率的プログラミングの長所を称賛しますが、次に続けます： 残念ながら、分類や（非線形）回帰などの従来のML問題の場合、確率的プログラミングは、アンサンブル学習などのよりアルゴリズム的なアプローチ（ランダムフォレストや勾配ブースト回帰ツリーなど）に対して（精度とスケーラビリティに関して）2番目のフィドルを実行することがよくあります。 。 誰かが説明してください： このステートメントが一般的に当てはまる場合 このステートメントが真実である理由

9 machine-learning  bayesian  mcmc  pymc  probabilistic-programming 

生成的敵対的ネットワーク（GAN）をデータ拡張（つまり、データセットに追加される合成例を生成する）に使用できますか？拡張データセットでトレーニングされたモデルのパフォーマンスに影響がありますか？

9 machine-learning  neural-networks  gan  data-augmentation 

強化学習の俳優批評学習では、あなたが取る行動を決定する「俳優」と、それらの行動を評価する「批評家」がいると理解していますが、私は損失関数が実際に何を言っているのか混乱しています私。 Sutton and Bartonの本のページ274（pdfの292）でここhttp://ufal.mff.cuni.cz/~straka/courses/npfl114/2016/sutton-bookdraft2016sep.pdfにあります それらはアルゴリズムを記述します。 状態値（批評家によって決定された）に関する情報を組み込むことにより、アクターを更新したいと理解できます。これは、δδ\delta これは上記の情報を組み込んでいますが、状態値関数の勾配を調べている理由がよくわかりません。 最小化しようとしている目的関数の勾配を見ているのではないですか？この章の前半で、彼はポリシーのパフォーマンスを単純にその値関数と見なすことができると述べています。この場合、各状態の値を最大化する方向にパラメーターを調整するだけです。それは政策を調整することによってなされるべきだと私は思った、私たちは状態を評価する方法を変えることによってではない。 ありがとう

9 machine-learning  reinforcement-learning  actor-critic 

データ拡張をトレーニングセットのみに適用するのか、トレーニングとテストセットの両方に適用するのが一般的な方法ですか？

9 machine-learning  deep-learning  regularization  data-augmentation 

線形モデル（線形回帰、ロジスティック回帰など）の場合、モデルのパフォーマンスを向上させるために、特徴エンジニアリングは重要なステップです。私の質問は、ランダムフォレストまたは勾配ブースティングを使用しているときに機能エンジニアリングを行うかどうかに関係ありますか？ これらのモデルがディープラーニングモデルではないことは間違いありません。しかし、機能エンジニアリング手法のいくつかは実際にはモデルを改善しないようです。たとえば、私は約200の特徴を含むバイナリ分類問題をやっていて、そのうちの20はカテゴリ特徴です。私は次のことをしました： ベンチマーク：ランダムフォレスト分類器を元のデータに直接実行しました。AUCは約0.93、精度、再現率、Fスコアは約0.95です（statifiedKfold検証が適用されており、結果に非常に小さなばらつきがあるため、私は言った） モデルを実行して、カイ2乗検定とANOVA f1検定を実行することにより、特徴の次元を削減しました。結果はほぼ同じです。AUCは約0.93、精度、再現率、Fスコアは約0.95です。 次に、すべてのカテゴリ機能をワンホットキーで入力し、モデルを再実行しましたが、結果はほぼ同じです。AUCは約0.93、精度、再現率、Fスコアは約0.95です。 次に、切り捨てられたSVDが適用されて機能がさらに削減され、モデルが再トレーニングされますが、結果は変わりません... ついに私は多項式項、残りの特徴のクロス項を追加しました。結果はまだ変わっていません... 何か提案してください？ありがとうございました。

9 machine-learning  random-forest  feature-construction  gbm  boosting 

私はRでGAMの使用を開始し、このトピックに関する優れた本（「一般化された加法モデル、Rの概要」）を入手しました。彼の例の1つに基づいて、私は以下を調べています。 library(mgcv) data(trees) ct1<-gam(log(Volume) ~ Height + s(Girth), data=trees) この例には2つの一般的な質問があります。 モデル推定の変数がいつパラメトリック（高さなど）である必要があるのか​​、またはそれがスムーズである必要があるのか​​（ガースなど）をどのように決定しますか？一方が他方よりも有利であり、変数の最適な型が何かを決定する方法はありますか？このトピックについて誰かが文学を持っているなら、私はそれを知って幸せです。 私はの重みを詳しく見てみたいと言いますct1：ct1$coefficients。それらを- gamプロシージャの出力として使用できますか、それとも、適切であるという前提で、分析する前に変換する必要がありlog(Volume)ますか？後者の場合、私は使用する必要があると思いますexp (ct1$coefficients)

9 r  regression  machine-learning  gam  mgcv