尤度のない推論-それはどういう意味ですか？

最近、私は「可能性のない」方法が文学で取り残されていることに気づきました。ただし、推論または最適化の方法が尤度フリーであることの意味は明確ではありません。

機械学習の目的は、通常、一部のパラメーターがニューラルネットワークの重みなどの関数に適合する可能性を最大にすることです。

では、正確に尤度フリーのアプローチの哲学は何であり、なぜGANsのような敵対的なネットワークがこのカテゴリーに該当するのでしょうか？

統計の尤度に基づかない方法の例はたくさんあります（機械学習については知りません）。いくつかの例：

1. フィッシャーの純粋な有意性検定。明確に定義された帰無仮説（Lady Tasting Tea実験では最初の牛乳と最後の牛乳の間に違いがないなど）のみに基づいています。この仮定は、帰無仮説の分布につながり、次にp値になります。尤度は含まれません。この最小限の推論機構それ自体では、電力分析（正式に定義された代替なし）または信頼区間（正式に定義されたパラメーターなし）の基礎を与えることはできません。

2. 1.に関連付けられているのは、ランダム化テストです。ランダム化テストと置換テストの違いは、最も基本的な形式では純粋な有意性テストです。

3. ブートストラップは、尤度関数を必要とせずに行われます。しかし、可能性の考え、たとえば経験的可能性との関連があります。

4. ランクベースのメソッドは通常、尤度を使用しません。

5. 堅牢な統計の多く。

6. 中央値（または他の変位値）の信頼区間は、順序統計に基づくことができます。可能性は計算に含まれていません。中央値の信頼区間、 経験的な中央値の分散のためのベスト推定

7. V Vapnikは、Black Swan TalebおよびBlack Swanで説明されているように、https：//en.wikipedia.org/wiki/Epilogismに関連していると思われるトランスダクティブ学習のアイデアを持っていました。

8. $\text{N}(\mu, \sigma^2)$$\text{N}(9.37, 2.12^2)$

尤度関数を取得した時点で、構築する巨大な機構があります。ベイジアンはこれなしでは成り立たず、ほとんどの他の人はほとんどの場合尤度を使用します。しかし、それもBayesiansは、なしでやろう見ることをコメントで指摘されている Approximate_Bayesian_computationを。そのトピックに関する新しいテキストさえあります。

しかし、彼らはどこから来たのでしょうか？通常の方法で尤度関数を取得するには、正当化するのが難しい多くの仮定が必要です。

この尤度のない方法のいくつかから、何らかの方法で尤度関数を構築できるかどうかを尋ねることは興味深いです。たとえば、上記のポイント6.では、次数統計から計算された信頼区間（のファミリ）から中央値の尤度関数を作成できますか？私はそれを別の質問として尋ねるべきです...

GANについての最後の質問です。

具体的には、[最近の]尤度のない方法はABCアルゴリズムの言い換えであり、ABCは近似ベイズ計算を表しています。これは、閉形式の尤度関数の使用を必要としない推論方法をカバーすることを意図していますが、それでも特定の統計モデルを研究することを意図しています。それらは、可能性に付随する計算上の困難さから解放されますが、この可能性を生み出すモデルからは解放されません。たとえばを参照してください

1. グレラウド、A; マリン、JM; ロバート、C; ロドルフ、F; タリー、F（2009）。「ギブスのランダムフィールドでモデルを選択するための最尤法」。ベイジアン分析。3：427–442。
2. ラットマン、O; アンドリュー、C; Wiuf、C; リチャードソン、S（2009）。「タンパク質ネットワークの進化への応用を伴う、尤度のない推論に基づくモデル批評」。アメリカ合衆国の全米科学アカデミーの議事録。106：10576–10581。
3. バジン、E。、ドーソン、KJ、およびボーモント、マサチューセッツ（2010）。ベイジアン階層モデルにおける人口構造と局所適応の最尤法なし推論。遺伝学、185（2）、587-602。
4. ディドロ、X; Everitt、RG; ヨハンセン、AM; ローソン、DJ（2011）。「モデル証拠の最尤法なしの推定」。ベイジアン分析。6：49–76。
5. Gutmann、M.およびCorander、J.（2016）シミュレータベースの統計モデルの尤度フリー推論のためのベイズ最適化 Journal of Machine Learning Research。

平凡な答えに加えて、漸近統計は実際には可能性がありません。

ここでの「可能性」とは、データの確率モデルを指します。気にしないかもしれません。しかし、平均のように、データの適切な要約である単純な推定量が見つかる可能性があります。分布の平均について推論を実行したい（それが存在すると仮定すると、これはしばしば妥当な仮定です）。

中心極限定理によって、分散も存在する場合、平均は大きなNで近似正規分布になります。正しいサイズの一貫したテストを作成できます（nullがfalseの場合、Nは無限大になるため、パワーは1になります）。有限のサンプルサイズでの平均のサンプリング分布の確率モデル（つまりfalse）がありますが、有効な推論と公平な推定を取得して、「データの有用な要約」（平均）を増やすことができます。

中央値の95％CIに基づくテスト（つまり、@ kjetilbhalvorsenの回答のオプション6）も、中央極限定理に依存して一貫していることを示していることに注意してください。したがって、単純なT検定を「ノンパラメトリック」または「非尤度ベース」の検定と考えることは狂気ではありません。

$p(y|x)$$x$$y$$p(y|x) = N(y|\mu(x), \sigma)$$p(y|x)$

$p(y|x)$