「尤度」と「確率」の違いは何ですか？

ウィキペディアのページには、可能性と確率が明確な概念であると主張しています。

非技術用語では、「可能性」は通常「確率」の同義語ですが、統計的な使用法では、明確な区別があります。観察された結果が与えられたパラメータ値のセットの尤度。

誰かがこれが何を意味するのか、より現実的な説明を与えることができますか？さらに、「確率」と「可能性」がどのように一致しないかを示す例もあります。

答えは、離散確率変数を扱うか連続確率変数を扱うかによって異なります。したがって、それに応じて答えを分割します。技術的な詳細が必要であり、必ずしも平易な英語での説明が必要ではないと想定します。

離散確率変数

離散値（たとえば、コインを10回投げた結果、10分以内に店舗に到着した顧客の数など）を取る確率的プロセスがあるとします。このような場合、基礎となる確率過程について適切な仮定を行うことにより、特定の結果セットを観察する確率を計算できます（たとえば、コインの着陸ヘッドの確率は$p$あり、コインのトスは独立しています）。

$O$による観測結果と、確率過程を$\theta$として記述するパラメーターのセットを示します。したがって、確率について話すときは、$P(O|\theta)$を計算します。言い換えると、$\theta$に特定の値が与えられた場合、$P(O|\theta)$は$O$表される結果を観察する確率です。

ただし、実際の確率過程をモデル化する場合、$\theta$がわからないことがよくあります。$O$を観察するだけで、目標は、観察された結果Oが与えられた場合にもっともらしい選択となる$\theta$推定値に到達することです。θの値が与えられた場合、Oを観測する確率はP （O | θ ）であることがわかります。したがって、「自然な」推定プロセスは、実際にOを観測する確率を最大化するθの値を選択することです。つまり、次の関数を最大化するパラメーター値θを見つけます。$O$$\theta$$O$$P(O|\theta)$$\theta$$O$$\theta$

$L(\theta|O) = P(O|\theta)$

$L(\theta|O)$は、尤度関数と呼ばれます。定義により、尤度関数は観測された$O$を条件とし、未知のパラメーター$\theta$関数であることに注意してください。

連続ランダム変数

継続的な場合、状況は似ていますが、1つの重要な違いがあります。連続的なケースではP （O | θ ）= 0であるため、θを与えられた$O$を観測した確率についてはもはや話すことができません。技術を習得することなく、基本的な考え方は次のとおりです。$\theta$$P(O|\theta) = 0$

アウトカムに関連した確率密度関数（pdf）を示す：として。したがって、連続的なケースでは、次の関数を最大化することにより、観測結果与えられた場合のを推定します。$O$$f(O|\theta)$$\theta$$O$

$L(\theta|O) = f(O|\theta)$

この状況では、観測結果関連付けられたPDFを最大化する際に、を観測する確率を最大化するパラメーター値を見つけていると技術的に断言することはできません。$O$$O$

これは、ほぼ全員が答えようとしている種類の質問であり、私はすべての答えが良いと期待しています。しかし、あなたは数学者であるダグラスですので、数学的な回答をさせてください。

統計モデルは、2つの別個の概念エンティティを接続する必要があります。データ（ベクトル空間など）の要素$x$と、データ動作の可能な定量モデルです。モデルは通常、有限次元多様体、境界のある多様体、または関数空間上の点$\theta$で表されます（後者は「ノンパラメトリック」問題と呼ばれます）。

データ$x$は、関数Λ （x 、θ ）によって可能なモデル$\theta$接続されます。任意の所与のためθ、Λ （Xは、θ ）の確率（または確率密度）であることが意図されているXを。一方、任意のxについて、Λ （x 、θ ）はθの関数として見ることができ、通常、連続的な2次微分可能などの特定の優れた特性を持つと想定されます。Λを表示する意図$\Lambda(x, \theta)$$\theta$$\Lambda(x, \theta)$$x$$x$$\Lambda(x, \theta)$$\theta$$\Lambda$このようにして、これらの仮定を呼び出すことは、$\Lambda$「可能性」と呼ぶことによって発表されます。

それは微分方程式の変数とパラメーターの区別によく似ています：時には解を研究したい（つまり、引数として変数に焦点を合わせたい）ときどき、解がパラメーターによってどのように変化するかを研究したい場合があります。主な違いは、統計では、両方の引数セットの同時変動を調べる必要はほとんどないということです。データ$x$とモデルパラメーター$\theta$両方の変更に自然に対応する統計オブジェクトはありません。そのため、このような二分法については、類似の数学的設定で聞くよりも多く聞くことになります。

すでにいくつかの優れた数学的な説明があるので、説明で数学を最小化しようとします。

ロビンギランドが指摘するように、確率と尤度の差は確率と統計の差に密接に関連しています。ある意味で、確率と統計は、互いに反対または逆の問題に関係しています。

コイントスを検討してください。（私の答えはWikipediaの例1に似ています。）コインが公正（）であることがわかっている場合、一般的な確率の質問は次のとおりです。答えはP （H H ）= P （H ）× P （H ）= 0.5 × 0.5 = 0.25です。$p=0.5$$P(HH) = P(H)\times P(H) = 0.5\times0.5 = 0.25$

典型的な統計上の質問は次のとおりです。コインは公正ですか？これに答えるには、次の点を尋ねる必要があります。サンプルは、という仮説をどの程度サポートしていますか？$P(H) = P(T) = 0.5$

最初に注意する点は、質問の方向が逆になったことです。確率では、仮定されたパラメーター（）から開始し、特定のサンプル（2つのヘッドが連続する）の確率を推定します。統計では、観測（連続する2つのヘッド）から開始し、パラメーター（p = P （H ）= 1 − P （T ）= 1 − q）について推論します。$P(head)$$p = P(H) = 1- P(T) = 1 - q$

ウィキペディアの例1は、Pの最尤推定、2つの連続したヘッドの後の（H ）が p M L E = 1であることを示しています。しかし、データが真のパラメーター値 p （H ）= 0.5を排除することは決してありません（現時点では詳細については気にしません）。実際、 n = 2の後、 p （H ）、特に p （H ）= 0の非常に小さな値のみを合理的に除去できます。$P(H)$$p_{MLE} = 1$$p(H) = 0.5$$p(H)$$p(H)=0$$n = 2$（コインの2つのスロー）。3番目のスローがテールになった後、（つまり、双頭コインではない）の可能性を排除できますが、その間のほとんどの値はデータによって合理的にサポートできます。（p （H ）の正確な二項95％信頼区間は0.094から0.992です。$P(H) = 1.0$$p(H)$

100回コインを投げ、（たとえば）70個のヘッドを置いた後、コインが実際には公平ではないという疑いの合理的な根拠が得られました。の正確な95％CI は0.600から0.787になり、p （H ）= 0.5が与えられた100回のトスから70以上の頭（または尾）の極端な結果を観測する確率は0.0000785です。$p(H)$$p(H) = 0.5$

尤度計算を明示的に使用したことはありませんが、この例では尤度の概念を捉えています。尤度とは、サンプルがパラメトリックモデルのパラメーターの特定の値をサポートする程度の尺度です。

フィッシャーに由来する尤度理論の観点からの視点を提供します-そして、引用されたウィキペディアの記事の統計的定義の基礎です。

パラメーター化された分布F （X ; θ ）から生じるランダム変量があるとします。ここで、θはFを特徴付けるパラメーターです。その後の確率$X$$F(X; \theta)$$\theta$$F$次のようになります。 P （X = X ）= F （X 、θ ）、既知で θ。 $X = x$$P(X = x) = F(x; \theta)$$\theta$

多くの場合、データあり、θは不明です。仮定されたモデルFが与えられると、尤度は観測データの確率としてθの関数として定義されます$X$$\theta$$F$$\theta$：。Xは既知ですが、θは不明であることに注意してください。実際、尤度を定義する動機は、分布のパラメーターを決定することです。$L(\theta) = P(\theta; X = x)$$X$$\theta$

単純に確率関数を書き直したように見えますが、これの重要な結果は、尤度関数が確率の法則に従っていないことです（たとえば、[0、1]区間にバインドされていません）。ただし、尤度関数は観測データの確率に比例します。

この可能性の概念は、実際には異なる考え方の「尤度主義者」（頻度主義者やベイジアン主義者とは異なる）につながり、さまざまな歴史的議論をすべて検索することができます。基礎となるのは、尤度関数から直接推論を実行できると本質的に言う尤度原理です（確率に基づく推論ではないため、ベイジアンも頻度論者もこれを受け入れません）。最近では、学校で「周波数主義者」として教えられているものの多くは、実際には周波数主義者と尤度思考の融合です。

より深い洞察のために、良いスタートと歴史的参照はエドワーズの尤度です。現代のテイクについては、Richard Royallの素晴らしいモノグラフ、Statistical Evidence：A Likelihood Paradigmをお勧めします。

上記のすばらしい技術的な答えをすべて考えて、言葉に戻してみましょう。確率は（結果の）予想を定量化し、尤度は（モデルで）信頼を定量化します。

誰かが「収益性の高いギャンブルゲーム」に挑戦しているとします。次に、確率は、期待される利益と損失のプロファイル（平均、モード、中央値、分散、情報比率、バリューアットリスク、ギャンブラー破滅など）を計算するのに役立ちます。対照的に、尤度は、そもそもこれらの確率を信頼するかどうかを定量化するのに役立ちます。または「ネズミの匂い」かどうか。

ちなみに、上記の誰かが統計の宗教について言及したので、尤度比はベイジアン世界と頻度の高いものの不可欠な部分であると信じています：ベイジアン世界では、ベイズの公式は単に事後を生成する可能性と事前に結合します。

頭を着陸させる確率が$p$、尾を着陸させる確率が$(1-p)$コインがあるとします。ましょう$x=1$ヘッドを示し、$x=0$尾を示しています。次のように$f$を定義します

$f(x,2/3)$指定されたxの確率であり、$p=2/3$、$f(1,p)$の可能性である$p$所与$x=1$。基本的に、尤度と確率は、密度のどのパラメーターが変数と見なされるかを示します

公正なコイン（パラメーター値）がある場合、頭に浮かぶ確率は0.5です。コインを100回裏返し、52回頭に上がった場合、公平である可能性が高くなります（可能性の数値はさまざまな形をとる可能性があります）。

は、2つの観点から見ることができます。$P(x|\theta)$

• 関数として、θを既知/観測値として処理します。$x$$\theta$場合、ランダム変数でないP （X | θ ）（と呼ばれるパラメータ化の）確率Xモデルパラメータ所与θ時にはとして書き込まれ、P （X 、θ ）、またはPのθ（X ）。場合θはベイズ統計のように、ランダムな変数であり、その後、P （X | θ $\theta$$P(x|\theta)$$x$$\theta$$P(x;\theta)$$P_{\theta}(x)$$\theta$$P(x|\theta)$ aは条件として定義される確率は、。${P(x\cap\theta)}/{P(\theta)}$
• 関数として、観測されたxを扱います。$\theta$$x$あなたが特定の割り当てを見つけるしようとすると例えば、θをするためにθ最大にPを（X | θ ）、その後、P （X | θが）と呼ばれる最尤のθ与えられたデータのx、時にはとして書かれた、L （ θ | x ）。したがって、尤度という用語は、確率P （$\hat\theta$$\theta$$P(x|\theta)$$P(x|\hat\theta)$$\theta$$x$$\mathcal L(\hat\theta|x)$さまざまな値を θに割り当てた結果のデータ x（たとえば、良い解を得るために θの探索空間を横断するとき）。したがって、多くの場合、目的関数として使用されますが、ベイジアンモデル比較のように2つのモデルを比較するためのパフォーマンス指標としても使用されます。$P(x|\theta)$$x$$\theta$$\theta$

多くの場合、この式はまだ両方の引数の関数であるため、むしろ強調の問題です。

私に関する限り、最も重要な違いは、尤度は（）確率ではないということです。$\theta$

推定問題では、Xが与えられ、尤度 はθではなくXの分布を表します。つまり、∫ P （X | θ ）のD θは可能性がのPDFファイルではないので、無意味であるθそれが特徴づけるんが、θをある程度まで。$P(X|\theta)$$\theta$$\int P(X|\theta) d\theta$$\theta$$\theta$

テレビシリーズ「num3ers」のパイロットを知っていますか。FBIは、被害者をランダムに選んだと思われる連続犯罪者の本拠地を見つけようとしますか？

$p(x|\theta)$$x$$\theta$$x$$\theta$$p_{\theta}(x)=p(x|\theta)$$x$$\theta$

$x$$\theta$。

$\theta$$\theta$$p(x|\theta)$$x$$l_x(\theta)=p(x|\theta)$$\theta$$x$$x$$\hat{\theta}$クグロフの。

$l_x(\theta)$$\theta$$p_{\theta}(x)$$x$$p(x|\theta)$$x$$\theta$