タグ付けされた質問 「online」

オンラインアルゴリズムとは、反復して実行される計算のことで、計算中にデータが到着します。インターネットに焦点を当てた質問については、「インターネット」タグを使用してください。

3
オンライン学習とオフライン学習?
オフライン学習とオンライン学習の違いは何ですか?データセット全体の学習(オフライン)と段階的な学習(一度に1つのインスタンス)だけの問題ですか?両方で使用されるアルゴリズムの例は何ですか?

7
「実行中の」線形またはロジスティック回帰パラメーターを計算するアルゴリズムはありますか?
http://www.johndcook.com/standard_deviation.htmlの論文「実行中の分散を正確に計算する」 は、実行中の平均、分散、標準偏差を計算する方法を示しています。 新しいトレーニングレコードが提供されるたびに、線形またはロジスティック回帰モデルのパラメーターを同様に「動的に」更新できるアルゴリズムはありますか?

1
最先端のストリーミング学習
私は最近大規模なデータセットを扱っており、ストリーミング方法に関する多くの論文を見つけました。いくつか例を挙げると: Follow-the-Regularized-Leader and Mirror Descent:等価定理とL1正則化(http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf) ストリーミング学習:ワンパスSVM(http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf) Pegasos:SVMのプライム推定サブGrAdient SOlver http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf またはここ:SVMは一度に1つの例をストリーム学習できますか? ストリーミングランダムフォレスト(http://research.cs.queensu.ca/home/cords2/ideas07.pdf) しかし、私はそれらが互いにどのように比較されるかに関するドキュメントを見つけることができませんでした。私が読んだすべての記事は、異なるデータセットで実験を行っているようです。 私は、sowia-ml、vowpal wabbitについて知っていますが、それらは既存の膨大な量のメソッドと比較して、ごく少数のメソッドを実装しているようです! あまり一般的ではないアルゴリズムのパフォーマンスは十分ではありませんか?できるだけ多くの方法をレビューしようとしている論文はありますか?

3
データセットの変更後の古い標準偏差を使用した新しい標準偏差の計算
平均と標準偏差を持つ実数値の配列があります。配列要素が別の要素置き換えられた場合、新しい平均はnnnμoldμold\mu_{old}σoldσold\sigma_{old}xixix_ixjxjx_j μnew=μold+xj−xinμnew=μold+xj−xin\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n} このアプローチの利点は、の値に関係なく一定の計算が必要になることです。を使用した計算のように、を使用してを計算する方法はありますか?nnnσnewσnew\sigma_{new}σoldσold\sigma_{old}μnewμnew\mu_{new}μoldμold\mu_{old}

5
平均絶対偏差と大規模なデータセットのオンラインアルゴリズム
私にはちょっとした問題があります。多変量時系列のオンライン取得プロセスの手順を作成する必要があります。すべての時間間隔(たとえば1秒)で、基本的にサイズNの浮動小数点ベクトルである新しいサンプルを取得します。実行する必要がある操作は少し複雑です。 新しいサンプルごとに、要素の合計が1になるようにベクトルを正規化して、そのサンプルのパーセントを計算します。 同じ方法で平均パーセントベクトルを計算しますが、過去の値を使用します。 過去の各値について、ステップ2で計算されたグローバル平均パーセントベクトルを使用して、そのサンプルに関連するパーセントベクトルの絶対偏差を計算します。この方法では、絶対偏差は常に0(ベクトルが平均に等しい場合)ベクトル)および2(完全に異なる場合)。 前のすべてのサンプルの偏差の平均を使用して、平均絶対偏差を計算します。これは、0〜2の数値です。 平均絶対偏差を使用して、新しいサンプルが他のサンプルと互換性があるかどうかを検出します(その絶対偏差を、ステップ4で計算されたセット全体の平均絶対偏差と比較します)。 新しいサンプルが収集されるたびにグローバル平均が変化するため(平均絶対偏差も変化するため)、データセット全体を複数回スキャンせずにこの値を計算する方法はありますか?(グローバル平均パーセントの計算に1回、絶対偏差の収集に1回)。わかりました。各次元の合計を保存するために一時的なベクトルを使用するだけなので、セット全体をスキャンせずにグローバル平均を計算するのは非常に簡単ですが、平均絶対偏差はどうですか?その計算にはabs()演算子が含まれているため、過去のすべてのデータにアクセスする必要があります! ご協力いただきありがとうございます。

3
オンライン学習とバッチ学習の違いは何ですか?
私は現在、John DuchiとYoram Singer の論文Efficient Online and Batch Learning using Forward-Backward Splittingを読みました。「オンライン」および「バッチ」という用語の使用法について非常に混乱しています。 「オンライン」とは、トレーニングデータの1単位を処理した後、重みパラメーターを更新することを意味すると考えました。次に、新しい重みパラメーターを使用して、トレーニングデータの次のユニットを処理します。 ただし、上記の論文では、使用法はそれほど明確ではありません。

2
新しい観測ストリームとしてMLEを再帰的に更新
一般的な質問 我々はIIDデータ持っていると言う、、... |(boldsymbol {\シータ} \、\ X \、)\シムFの中でストリーミング私たちは、再帰的の最尤推定値を計算します。boldsymbol {\シータを} \。つまり、 \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol {\ theta} \ in \ mathbb {R} ^ p} {\ arg \ max} \ prod_ { i = 1} ^ {n-1} f(x_i \、| \、\ boldsymbol {\ theta})、 新しいx_nを観察し、推定値\ …

2
指数加重移動歪度/尖度
指数加重移動平均と標準プロセスの偏差を計算するためのよく知られたオンライン式がある(xn)n=0,1,2,…(xn)n=0,1,2,…(x_n)_{n=0,1,2,\dots}。平均して、 μn=(1−α)μn−1+αxnμn=(1−α)μn−1+αxn\mu_n = (1-\alpha) \mu_{n-1} + \alpha x_n 分散について σ2n=(1−α)σ2n−1+α(xn−μn−1)(xn−μn)σn2=(1−α)σn−12+α(xn−μn−1)(xn−μn)\sigma_n^2 = (1-\alpha) \sigma_{n-1}^2 + \alpha(x_n - \mu_{n-1})(x_n - \mu_n) ここから標準偏差を計算できます。 指数加重された第3および第4中心モーメントのオンライン計算のための同様の公式はありますか?私の直感は、彼らが形をとるべきだということです M3,n=(1−α)M3,n−1+αf(xn,μn,μn−1,Sn,Sn−1)M3,n=(1−α)M3,n−1+αf(xn,μn,μn−1,Sn,Sn−1)M_{3,n} = (1-\alpha) M_{3,n-1} + \alpha f(x_n,\mu_n,\mu_{n-1},S_n,S_{n-1}) そして M4,n=(1−α)M4,n−1+αf(xn,μn,μn−1,Sn,Sn−1,M3,n,M3,n−1)M4,n=(1−α)M4,n−1+αf(xn,μn,μn−1,Sn,Sn−1,M3,n,M3,n−1)M_{4,n} = (1-\alpha) M_{4,n-1} + \alpha f(x_n,\mu_n,\mu_{n-1},S_n,S_{n-1},M_{3,n},M_{3,n-1}) あなたは歪度計算することができたからおよび尖度K N = M 4 、N / σ 4 Nが、私は、機能のための閉形式の単純なを見つけることができるされていませんでしたFとG。γn=M3,n/σ3nγn=M3,n/σn3\gamma_n = M_{3,n} / \sigma_n^3kn=M4,n/σ4nkn=M4,n/σn4k_n …

3
オンライン学習での正則化と機能スケーリング?
ロジスティック回帰分類器があるとします。通常のバッチ学習では、過剰適合を防ぎ、体重を小さく保つための正規化用語があります。また、機能を正規化およびスケーリングします。 オンライン学習環境では、継続的なデータのストリームを取得しています。各例で勾配降下更新を行い、それを破棄します。オンライン学習で機能スケーリングと正則化用語を使用することになっていますか?はいの場合、どうすればそれができますか?たとえば、スケーリングするトレーニングデータのセットがありません。また、正規化パラメーターを調整するための検証セットもありません。いいえの場合、なぜですか? オンライン学習では、例のストリームを継続的に取得します。新しい例ごとに、予測を行います。次に、次のタイムステップで、実際のターゲットを取得し、勾配降下更新を実行します。

1
「ヘイウッドケース」の正確な定義は何ですか?
私は、「ヘイウッドケース」という用語を多少非公式に使用して、オンラインの「有限応答」反復更新された分散の推定値が、数値精度の問題により負になった状況を指していました。(Welfordのメソッドのバリアントを使用してデータを追加し、古いデータを削除しています。)数値誤差またはモデリング誤差により分散推定値が負になったが、同僚が私の用語の使用法で混乱しています。グーグル検索は、因子分析で使用されることを除いて、あまり検索されず、負の分散推定の結果を参照しているようです。正確な定義は何ですか?そして、元のヘイウッドは誰でしたか?

2
観測値を保存しない四分位数のオンライン推定
観測値を保存せずに、大量のデータセットでリアルタイムで四分位数(Q1、中央値、およびQ3)を計算する必要があります。最初にPスクエアアルゴリズム(Jain / Chlamtac)を試しましたが、満足できませんでした(CPUの使用量が少なすぎて、少なくともデータセットの精度に納得できませんでした)。 FAMEアルゴリズム(Feldman / Shavitt)を使用してオンザフライで中央値を推定し、アルゴリズムを導出してQ1およびQ3も計算することを試みます。 M = Q1 = Q3 = first data value step =step_Q1 = step_Q3 = a small value for each new data : # update median M if M > data: M = M - step elif M < data: M = M + step …

5
再帰的(オンライン)正則化最小二乗アルゴリズム
Tikhonov Regularization(正則化された最小二乗法)のオンライン(再帰)アルゴリズムの方向を教えていただけますか? オフライン設定では、元のデータセットを使用してを計算し、n倍交差検証を使用してλを見つけます。y = x ^ T \ hat \ betaを使用して、指定されたxの新しいy値を予測できます。β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TYλλλyyyxxxy=xTβ^y=xTβ^y=x^T\hat\beta オンライン環境では、新しいデータポイントを継続的に描画します。データセット全体(元の+新しい)で完全な再計算を行わずに新しい追加のデータサンプルを描画するときに、を更新するにはどうすればよいですか?β^β^\hat\beta

1
オンラインでスケーラブルな統計手法
これは、私が非常に興味深いと思う効率的なオンライン線形回帰に触発されました。大規模な統計計算に専念するテキストやリソースはありますか?それにより、メインメモリに収まらないほど大きく、効果的にサブサンプリングするには多すぎるデータセットを使用した計算が行われます。たとえば、混合効果モデルをオンラインで適合させることは可能ですか?MLEの標準的な2次の最適化手法を1次のSGDタイプの手法に置き換えた場合の効果を調べた人はいますか?

1
オフライン学習とオンライン学習のモデル選択
私は最近オンライン学習についてもっと学びたいと思っています(それは本当に魅力的です!)、私が十分に理解できていないテーマの1つは、オフラインとオンラインのコンテキストでのモデル選択について考える方法です。具体的には、固定データセット基づいて分類子オフラインでトレーニングするとします。たとえば、相互検証によってそのパフォーマンス特性を推定し、この方法で最適な分類子を選択します。SSSDDD これは私が考えていたものです。それでは、をオンライン設定に適用するにはどうすればよいのでしょうか。オフラインで見つかった最高のがオンライン分類子としてもうまく機能すると想定できますか?をトレーニングするためにいくつかのデータを収集し、同じ分類子を取得し、で見つかった同じパラメーターを使用してオンライン設定で「操作」することは理にかなっていますか?これらの場合の警告は何ですか?ここで重要な結果は何ですか?などなど。SSSSSSSSSSSSDDD とにかく、それがそこにあるので、私が探しているのは、私(そしてうまくいけば、このようなことについて考えていた他の人)がオフラインで考えることから移行するのに役立ついくつかの参照またはリソースです、そして私の読書が進むにつれて、モデル選択の問題とこれらの質問をより首尾一貫した方法で考える精神的枠組みを開発します。

2
増分ガウスプロセス回帰
ストリームを介して1つずつ到着するデータポイントにスライディングウィンドウを使用して、増分ガウスプロセス回帰を実装したいと思います。 ましょう入力空間の次元を表します。したがって、すべてのデータポイントx iにはd個の要素があります。dddバツ私xix_iddd してみましょうスライディングウィンドウのサイズです。んnn 予測を行うには、グラム行列逆を計算する必要があります。ここで、K i j = k (x i、x j)であり、kは2乗指数カーネルです。KKKK私はj= k (x私、xj)Kij=k(xi,xj)K_{ij} = k(x_i, x_j) Kが新しいデータポイントごとに大きくなるのを避けるために、新しいポイントを追加する前に最も古いデータポイントを削除して、グラムが大きくならないようにすることができると考えました。例えば、聞かせてここで、Σは、重みの共分散であり、φは、二乗指数カーネルによって暗示暗黙的なマッピング関数です。K=ϕ(X)TΣϕ(X)K=ϕ(X)TΣϕ(X)K = \phi(X)^{T}\Sigma\phi(X)ΣΣ\Sigmaϕϕ\phi 今聞かせて ]およびX n e w = [ x t − n + 2 | 。。。| x t | X T + 1 ] X「sはさdはによって1列の行列。X=[xt−n+1|xt−n+2|...|xtX=[xt−n+1|xt−n+2|...|xtX=[x_{t-n+1}|x_{t-n+2}|...|x_{t}Xnew=[xt−n+2|...|xt|xt+1]Xnew=[xt−n+2|...|xt|xt+1]X_{new}=[x_{t-n+2}|...|x_{t}|x_{t+1}]xxxddd111 Kを潜在的に使用してを見つける効果的な方法が必要です。これは、シャーマンモリソンの公式で効率的に処理できる、ランク1の更新された行列の問題の逆のようには見えません。K−1newKnew−1K_{new}^{-1}KKK

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.