モデルの誤った仕様の下での統計的推論


9

一般的な方法論的な質問があります。以前に回答された可能性がありますが、関連するスレッドを見つけることができません。可能性のある重複へのポインタに感謝します。

ここではなく、無応答と、優れものです。これは、でも答えを、精神にも似ていますが、後者はあまりにも私の観点から、特定のです。これは、質問を投稿後に発見、近くにもあります。)


テーマは、データを表示する前に作成されたモデルがデータ生成プロセスを適切に説明できない場合に、有効な統計的推論を行う方法です。質問は非常に一般的ですが、ポイントを説明するために特定の例を提供します。しかし、私は、特定の例の詳細に細心の注意を払うのではなく、一般的な方法論の質問に焦点を当てた回答を期待しています。


具体的な例を考える:時系列設定で、Iは、データ生成処理を前提となるように U TiがN 0 σ 2 U。私はd yという主題の仮説をテストすることを目指しています

(1)yt=β0+β1xt+ut
uti.i.N(0,σu2)。私は、モデルの面でこれをキャスト1私の主題仮説の実行可能な統計的な対応を得るために、これはある H0β1=1. これまでのところ、とても良いです。しかし、データを観察すると、モデルがデータを適切に記述していないことがわかりました。私たちは真のデータ生成処理がされ、その結果、線形傾向がある、としましょう Y 、T = γ 0 + γ 1 のx T + γ 2トン+ のV TVのトンdydx=1(1)
H0: β1=1.
(2)yt=γ0+γ1xt+γ2t+vt
vti.i.N(0,σv2)

主題仮説d yに対して有効な統計的推論を行うにはどうすればよいですかdydx=1

  • 私は元のモデルを使用している場合は、その仮定が違反しているとの推定量素敵な分布を持っていない、それはそうだろう。したがって、t検定を使用して仮説を検定することはできません。β1t

  • (1)(2)H0: β1=1H0: γ1=1γ1H0t
    (1)(2)仮説をテストしたいデータセットによって通知されます。これにより、推定データの分布(したがって、推論)は、基になるモデルの変化を条件とします。これは、観測されたデータによるものです。明らかに、そのような調整の導入は満足のいくものではありません。

良い方法はありますか?(常連でなければ、おそらくいくつかのベイジアンの代替ですか?)


3
あなたの不快感は、博士号を授与するための古典的なアプローチに固有のものです。この世界では、簡単な答えは「いいえ」です。しかし、世界はその厳密なパラダイムから離れて進化しています。たとえば、昨年のAERの KleinbergらによるPrediction Policy Problemsというタイトルの論文では、「因果推論が中心的ではない、あるいは必要。" 一見の価値があります。
マイクハンター

2
私の見解では、直接的な答えは、出口がないということです。さもなければ、最悪の種類のデータマイニング(データに適合するように仮説を作り直す)に罪を犯します-厳密でパラダイム的な世界での資本違反。
マイクハンター

3
私が正しく理解していれば、データを収集し、モデルを選択して、仮説をテストしています。私は間違っているかもしれませんが、テイラーとティブシラニ(とりわけ)によって調査された選択的推論パラダイムはあなたの問題に関連しているように思えます。それ以外の場合は、コメント、回答、およびこの質問へのリンクされた回答 が興味深いかもしれません。
DeltaIV 2017年

3
yx

3
@RichardHardy、確かに、統計の大学院生であるにもかかわらず、私はもう推論を信じていません。それは非常に壊れやすいカードの家であり、非常に厳密で制御された状況を除いて、それがまったく意味があるかどうかは不明です。面白いのは、誰もがこれを知っているが、誰も気にしていないことです。
hejseb

回答:


3

出口は文字通りサンプルテストから外れており、真のテストです。サンプルをトレーニングに分割して交差検証のように保持するものではなく、真の予測です。これは自然科学で非常にうまく機能します。実際、それが機能する唯一の方法です。いくつかのデータに基づいて理論を構築すると、まだ観測されていない何かの予測を出すことが期待されます。明らかに、これは経済学などのほとんどの社会(いわゆる)科学では機能しません。

業界では、これは科学の場合と同様に機能します。たとえば、取引アルゴリズムが機能しない場合、最終的にはお金を失うことになり、それからそれを放棄します。相互検証とトレーニングデータセットは、開発とアルゴリズムの展開を決定する際に広く使用されますが、本番稼働後は、金を稼ぐか失うかがすべてです。サンプルテストが非常に簡単です。


yx

@RichardHardy、はい、あなたは新しいデータに対して同じ仮説をテストします。それが成立すれば、あなたは大丈夫です。モデルが誤って指定されている場合、最終的には失敗するはずです。つまり、他の診断も意味します。モデルが新しいデータを処理していないことがわかります。
Aksakal

OK、それからサンプルをモデル構築用のサブサンプルと仮説テスト用のサブサンプルに分割するという古き良き処方箋のように聞こえます。その考察はすでにOPに含まれているはずです。いずれにせよ、それは健全な戦略のようです。たとえば、マクロ経済学の問題は、同じモデルが目に見えないデータにほとんど適合しないことです(データ生成プロセスは時間の経過とともに変化するため)。したがって、最初からまったく同じ問題が続くことになります。しかし、これは基本的にすべてのメソッドが失敗する例であるため、公正な批判ではありません。
Richard Hardy

一方、断面データ設定のミクロ経済学では、それはうまくいくかもしれません。今のところ+1。一方、モデルがすべての利用可能なデータにフィットすると、このソリューションは機能しなくなります。私がそれを質問を書いたときに私が考えていたのはそれだと思います、そして私はタイトルの質問に対処する回答を探しています:誤って指定されたモデルからの推論。
Richard Hardy

2
私はあなたの考えに共感します。しかし、サンプルを「古い」と「新しい」に分割することは、新しいデータを収集することと同じであるため、この2つの違いがどこにあるのかわかりません。
Richard Hardy

1

「複合手順」を定義して、その特性を調査できます。単純なモデルから始めて、単純なモデルが適合しない場合に備えて、1つ、2つ、または3つのさらに複雑な(またはノンパラメトリック)モデルを適合させるとします。単純なモデルではなく、他のモデルの1つ(およびどちらか)を適合させることにしたことに応じて、正式なルールを指定する必要があります。また、関係するすべてのモデル(パラメトリックまたはノンパラメトリック)に適用される関心のある仮説のテストも必要です。

このような設定では、特性をシミュレートできます。つまり、真である場合や、関心のあるいくつかの偏差がある場合に、帰無仮説が最終的に拒否される割合をシミュレーションできます。また、関連するすべてのモデルからシミュレーションを実行し、データがモデルX、Y、またはZからのものである場合、またはモデルの誤仕様テスト手順でモデルX、Y、またはZが選択された場合に、条件付きレベルや条件付き検出力などを確認できます。

モデルの選択は、達成されたレベルがまだあなたが求めていたレベルに非常に近いという意味でそれほど害を及ぼさないかもしれません。そして、パワーは優れていなくても大丈夫です。あるいは、データに依存するモデルの選択が本当に物事を台無しにしてしまうかもしれません。それは詳細に依存します(モデル選択手順が非常に信頼できる場合、可能性は平等であり、電力はそれほど強く影響されません)。

これは、1つのモデルを指定してデータを確認し、「別のモデルが必要です」と決定することとはまったく異なりますが、そのようなアプローチの特徴を調査するのに十分近づきます。これを実現するには、いくつかの選択を行う必要があるため、それは簡単なことではありません。

一般的な発言:適用された統計手法を「有効」と「無効」にバイナリで分類することは誤解を招くと思います。モデルの仮定が実際に正確に保持されることはないため、100%有効なものはありません。一方、何かを「無効」と呼ぶ正当な(!)理由はあるかもしれませんが、無効と思われるアプローチの特性を詳細に調査すると、それでもかなりうまく機能することがわかります。


これは、最も単純な問題を除いて、実際には現実的なのだろうか。ほとんどの場合、シミュレーションの計算コストは​​すぐに私たちの能力を超えてしまいますね。妥当性に関するあなたのコメントはもちろん論理的です。しかし、この単純でありながら有用な(私たちの推論を支援する)概念がなければ、私たちはそれよりもさらに多くのことを失うことになります。それが私の見方です。
Richard Hardy

このような状況が実際に発生するたびに、これを実行する必要があると言っているのではありません。それはむしろ研究プロジェクトです。ただし、私の意見では、与えられた理由により、データ依存モデルの選択は、そうでなければ有効だったであろう推論を正確に無効にするものではないと私は思います。現在、適切に調査されていませんが、このような組み合わせた手順は、多くの状況でかなりうまくいく場合があります。
Lewian

これが実現可能であれば、すでに使用されていると思います。データに依存するモデリングの選択肢が多いため、主な問題は実行不可能性である可能性があります(最初のコメントに戻ります)。またはそこに問題がありませんか?
Richard Hardy

文献には奇妙なシミュレーションがあり、最初に誤指定テスト/モデルの選択、次にその結果を条件とするパラメトリック推論を探っています。結果は私の知る限りさまざまです。「古典」の例はここにある:tandfonline.com/doi/abs/10.1080/...
Lewian

しかし、あなたは正しいです。あらゆる種類の可能なモデリングオプションを使用してプロセス全体をモデリングするには、多くの選択が必要になります。私はそれでも価値のあるプロジェクトだと思いますが、モデルが当てはめられているのと同じデータからモデルが選択されるたびに要求されるものではありません。ちなみに、Aris Spanosは、データの仕様の不正確なテストやモデルチェックによって推論が無効になるという考えに反対しています。onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200
Lewian
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.