ラグの順序をなげなわにしますか？

9

という形式の縦断データがあるとします（複数の観測結果があり、これは単一の観測値の形式です）。制限に興味があります。無制限のは、 with。 $\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)$ $\Sigma$ $\Sigma$

Y_{j} = α_{j} + \sum_{ℓ = 1}^{j - 1} ϕ_{ℓ j} Y_{j - ℓ} + ε_{j}

$Y_j = \alpha_j + \sum_{\ell = 1} ^ {j - 1} \phi_{\ell j} Y_{j-\ell} + \varepsilon_j$

ε_{j} \sim N (0, σ_{j})

$\varepsilon_j \sim N(0, \sigma_j)$

共分散パラメーターを推定する必要があるため、これは通常行われません。モデルは " "ですつまり、履歴からを予測する項。 $O(J^2)$ $k$

Y_{j} = α_{j} + \sum_{ℓ = 1}^{k} ϕ_{ℓ j} Y_{j - ℓ} + ε_{j},

$Y_j = \alpha_j + \sum_{\ell = 1} ^ k \phi_{\ell j} Y_{j - \ell} + \varepsilon_j,$

k

$k$

Y_{j}

$Y_j$

LASSOのように、いくつかのをゼロにするために、ある種の縮小のアイデアを使用したいのです。しかし、問題は、いくつかの遅延であるモデルを優先するために使用する方法も欲しいです。低次のラグよりも高次のラグにペナルティを課したいのですが。これは、予測変数が高度に相関していることを考えると、特にやりたいことだと思います。 $\phi_{\ell j}$ $k$ $k$

追加の問題は、（たとえば）がに縮小された場合、がに縮小された場合、つまり、すべての条件付き分布で同じラグが使用されることです。 $\phi_{35}$ $0$ $\phi_{36}$ $0$

私はこれについて推測することができましたが、私は車輪を再発明したくありません。この種の問題に対処するために設計されたLASSOテクニックはありますか？ラグオーダーを段階的に含めるなど、他のことを完全にやった方がいいですか？モデル空間が小さいので、この問題にペナルティを使用することもできると思いますか？ $L_0$

feature-selection lasso shrinkage

— 男
ソース

2

k = 0から最大値まで繰り返し検証を繰り返し、kに対するパフォーマンスをプロットできます。モデルはこれまでに見たことのないデータでテストされているため、複雑なモデルのパフォーマンスが向上する保証はなく、モデルが過剰適合により複雑になりすぎると、パフォーマンスが低下するはずです。個人的には、これは任意のペナルティ要素よりも安全で正当化するのが簡単だと思いますが、走行距離は異なる場合があります。

また、注文したLassoが質問にどのように回答するかについては、あまりフォローしません。制限が厳しすぎるようで、係数の順序付けを完全に強制しています。一方、元の質問は、がlで厳密に減少していない解を持ついくつかのデータに終わる可能性があります。 $\phi_{lj}$

— ニル・フリードマン
ソース

LaTeXを質問に追加するには、式をドル記号（$）で囲みます。

— Patrick Coulombe 14

1

（1）モデルだけからは、係数の順序が望ましいことは明らかではありませんが、実質的には妥当です。たとえば、反復測定の臨床試験では、の小さな摂動が小さな摂動よりも確率的に影響することを期待する実質的な理由はありません。順序付けられたLASSOは、これをアプリオリな知識としてより有効に利用しますが、そうでない可能性もあります。

Y_{j - 2}

$Y_{j-2}$

Y_{j}

$Y_j$

Y_{j - 1}

$Y_{j-1}$

— 男14

（2）一般に、このCV戦略は独断的すぎるため、少なくとも部分的には使用しません。ラグを完全に捨てるのではなく、慎重にラグを縮小することで、より良い予測を得ることができます。

— 男14

Nir、注文したLASSOに関する有用なコメント。回答をもう少し包括的にするために編集しました。ありがとう！

— ショーンイースター

ショーン、ありがとう。男、それはあまりにも独断的だとは思わない。あなたはakを石に設定するのではなく、変化させることができます。それが選択するkは、過剰適合の始まりになります。また、アプリオリな知識があるとするあなたの声明にも強く同意しません。理にかなっているように見え、完全に異なるものであることを知っているもの。従来の統計には、私が理解したことのない相互検証への抵抗があるように思われます。いつでも仮定を追加するよりも、サンプルデータから予測効率を選択します。

— Nir Friedman

2

LASSOが注文あなたが探していることをどのようだ：それは正則回帰係数を計算追加の制約に標準LASSOのように、しかし主題その。 $\beta_{1...j}$ $|\beta_1| \geq |\beta_2|...\geq|\beta_j|$

これは、高次のラグの係数をゼロにするという2番目の目標を達成しますが、より低いラグモデルを優先するという唯一の制限よりも制限的です。そして、他の人が指摘するように、これは正当化するのが非常に難しいことがある重い制限です。

注意事項を省いて、このペーパーでは、実際の時系列データとシミュレーションされた時系列データの両方でのメソッドの結果と、係数を見つけるための詳細なアルゴリズムを示します。結論はRパッケージについて言及していますが、この論文は比較的最近のものであり、CRANでの「ordered LASSO」の検索は空になっているため、パッケージはまだ開発中であると思います。

このペーパーは、2つの正則化パラメーターが「ほぼ単調性を促進する」という一般化されたアプローチも提供します。（p。6を参照してください。）言い換えると、パラメーターを調整して、緩やかな順序付けを可能にする必要があります。残念ながら、リラックスした方法の例や比較は提供されていません。しかし、著者は、この変更を実装することは、あるアルゴリズムを別のアルゴリズムに置き換えるという単純な問題であると書いているため、次のRパッケージの一部になることを期待しています。

— ショーンイースター
ソース

ありがとう、これが最近のアイデアだということは本当に面白いです。9か月前に質問したときに、友人と問題について話し合う同じアイデアを実際に思い付きましたが、徹底的に調査したことはありません！私はそのアイデアがその小説ではない、あるいは誰か他の人がすでにそれについて論文を書いていたと思いました。

— 男

どういたしまして！自分が最近のことに驚きました。

— Seanイースター

1

ネストされたLASSOペナルティ（pdf）を使用できますが、そのためのRパッケージはありません。

— user53874
ソース

1

現時点では、これは回答というよりコメントです。ネストされたLASSOペナルティについて話し合うなどして、少し拡張できますか？

— ガン-モニカの回復

0

私はあなたがそれを前提として書いたことを知っていますが、順序付けされたLASSOの仮定は時系列予測に直接適切ではないため、これが必要なものであることを完全に確信せずに順序付けられたLASSOを使用しません。反例として、測定とターゲットの間に、たとえば10時間ステップの遅延時間がある場合を考えます。明らかに、順序付けられたLASSO制約は、最初の9つのパラメーターに意味がないとせずに、そのような影響を処理できません。

$\lambda$ $\lambda$ $\lambda=0$

$\lambda$

— davidhigh
ソース

それを信じる強いアプリオリな理由がなければ、私は明らかに係数の次数の制約に興味がないでしょう。可能性が高いと思われるモデルの場合、ヒューリスティックな方法では、順序付けられたLASSOの方が効率的です。lag-10係数が他の9が0であることは、私の実質的な設定では意味がありません。これは私の同僚が取り組んできた問題です（ラグに基づいて順序付けされた縮小）。しかし、彼らはベイズアンのアイデアを使用しているため、（非ベイジアン）LASSOを考慮していません。

— 男

わかりました、あなたはあなたが何をしているのか知っているようです。ただし、順序付けられたLASSOは、「一度だけゼロ-常にゼロ」というステートメントよりも強く制約されることに注意してください。または、パラメーターが乗法的に入力されるモデルを検討することもできます。次に、相対重要度は、係数がゼロになるまで増加または減少します。

— davidhigh 2014