Coxの2つのルールからP（C | A + B）を導出する

9

私はETジェインズの本の確率論-科学の論理-を通して自分のやり方（自習）をしています

元の問題

演習2.1では、「[式類似した一般式を見つけることはできますか ]積と合計のルールから。そうである場合はそれを導き出し、そうでない場合は、これを実行できない理由を説明してください。」 $p(C|A+B)$ $p(A+B|C)=p(A|C)+p(B|C)-p(AB|C)$

ギブンズ

私が使用しなければならないルールは次のとおりです。

$p(AB | C) = p(A|C)p(B|AC) = p(B|C)p(A|BC)$ および $p(A|B)+p(\bar{A}|B)=1$

論理的アイデンティティを使用して命題を操作することもできます。例： $A+B=\overline{\bar{A}\bar{B}}$

可解性の仮定

彼は後で他の規則を導入せず、簡単に表現できない命題の単純な論理的組み合わせを持っているので、それは可能であるに違いないと私は考えています。しかし、私はルールを導き出すことができませんでした。

私の試み

与えられたものと同じ変数名を使用することで混乱しないように、私は問題を次のように解決しています：

式を導出する $p(X|Y+Z)$

条件付けのためのトートロジーの紹介

これを解決するための私の最善の試みは、常に真である命題を導入することでした。したがって、私はをとして書き換えることができ（真実は乗法的同一性であるため）。 $W$ $Y+Z$ $(Y+Z)W$

次に、私は書くことができます：

$p(X|Y+Z)=p(X|(Y+Z)W)$

したがって、ベイズの規則として与えられたものの1つを書き換えます：、私は書くことができます： $p(A|BC)=\frac{p(B|AC)p(A|C)}{p(B|C)}$

$p(X|(Y+Z)W)=\frac{p(Y+Z|XW)p(X|W)}{p(Y+Z|W)}=\frac{p(Y+Z|X)p(X|W)}{p(Y+Z|W)}$

これが機能しない理由

項は扱いが簡単です。（その拡張は問題の定義で参照されます。） $p(Y+Z|X)$

ただし、とどうするかわかりません。を取り除くために適用できる論理変換はありません。また、そこに到達するために与えられたルールを適用する方法について考えることもできません。 $p(X|W)$ $p(Y+Z|W)$ $W$

私が見た他の場所

私はGoogle検索を実行しましたが、このフォーラムページが表示されました。しかし、著者は私が試みたのと同じことを、導入されたトートロジーの結果として生じる条件付けで私が抱えている困難を見ずに行います。

また、stats.stackexchange.comで「Jaynes」と「Exercise 2.1」を検索しましたが、有用な結果は見つかりませんでした。

— 代名詞
ソース

これはそれ自体の答えに値するものではないと思いますが、あなたが持っているものは正しいと私は思います。そして、ジェインズがあなたに思いつくことを期待していたものです。は常にTrueであると想定できます。そして、次の質問は、のより一般的なケースについてであり、ベイズの定理のより一般的な形式を証明するように求められます。（これは、この質問が提起されてから数年後ですが、私は同じ部分で立ち往生しました。このコメントが他の人に役立つことを願っています）

W

$W$

p (C | (A_{1} + A_{2} + . . . + A_{n}) W)

$p(C|(A_1 + A_2 + ... + A_n)W)$

— ウィリアム・オリバー

3

Jaynesが何に類似していると考えているかはわかりません $P(A\cup B \mid C) = P(A \mid C) + P(B \mid C) - P(AB \mid C)$ 学生たちは宿題や試験で次の1つ以上を元気に使っています。

\begin{aligned} P (A ∣ B \cup C) & = P (A ∣ B) + P (C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (C) - P (A C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C), \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C) - P (A ∣ B C), \\ P (A ∣ B \cup C) & = P (A B ∣ B \cup C) + P (A C ∣ B \cup C) - P (A B C ∣ B \cup C) . \end{aligned}

$\begin{align*} P(A\mid B \cup C) &= P(A \mid B) + P(C)\\ P(A\mid B \cup C) &= P(A \mid B) + P(C) - P(AC)\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C),\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C) - P(A \mid BC),\\ P(A\mid B \cup C) &= P(AB \mid B\cup C) + P(AC \mid B \cup C) - P(ABC \mid B\cup C). \end{align*}$ これらのいずれかが正しいと思いますか？

注：私の（削除された）コメントを私の回答の補遺に変更すると、ルールは次の操作を許可します。 $P(AB \mid C) = P(A\mid C)P(B \mid AC); P(A \mid C) = 1 - P(A^c \mid C).$ 1つ目は、 $C$ しかし、条件付けを排除しません $C$ 。2番目も、条件付けを排除しません $C$ 。したがって、すべての操作 $P(A\mid B \cup C)$ 常にフォームの用語が含まれます $P(X\mid B \cup C)$ 、および $P(A\mid B \cup C)$ に関して表現することはできません $P(A \mid B)$ 、 $P(A \mid C)$ 、 $P(A \mid BC)$ 条件付き確率を含まない等 $B \cup C$ また。

— ディリップ・サルワテ
ソース

どれも嫌いです。最後の答えは技術的に正しいと思いますが、すべての用語がまだ次の機能を持っているため、削除しようとしている条件付けは排除されません

A

$A$ 与えられた

B \cup C

$B \cup C$ 。

— 町の名を冠した

@Eponymousしかし、Jaynesがエミュレートすることを望んでいる表現、つまり

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$ 、コンディショニングはオンのままです

C

$C$ 全体。つまり、問題は結局、Jaynesが類似していると考えるものに要約されます。私の最後の「アイデンティティー」は本当の声明であり、Jaynesの

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$

— ディリップSarwate

Jaynesのフレームワークでは、常に何かを条件付ける必要があります。

P (X)

$P(X)$ すべてに対して未定義です

X

$X$ 。したがって、単一の条件での条件付けは避けられません。私の問題の理解は、どういうわけか壊す必要があるということです

P (A | B \cup C)

$P(A|B \cup C)$ 計算がより自然で簡単なものに、理想的には

\cup

$\cup$ 完全に（ただし、削除できない場合があります）。私はあなたの最後のアイデンティティをそうしているとは思いません。

— 町の名を冠した

@Dilip私はあなたの答えに何か問題があるとは思わない、そして私はかなり正しい（+1）たくさん（特に最後のビット）があると思う。ソリューションマニュアルがない（存在するとは思えない）ので、Jaynesの考えがどうなっていたかを知ることはできません。しかし、私はあなたが正しいと思います。最終的な答えには、すべての条件付けが必要であり、自然な条件付けイベントのように見えるのは次のようなものです。

A \cup B

$A \cup B$ 。

2

このような問題の場合は、数式についてあまり考えずに、代わりに図（この場合はベン図）を描くと役立つことがあります。

ここに画像の説明を入力してください

今写真を見つめて、何を視覚化してみてください $P(C | A \cup B)$ を表します。写真からそれを選ぶことができれば、それを書くためのいくつかの有効な方法があることがわかります（2つの方法は、すぐに私の心に飛びつきます）。それでも解決しない場合は、ヒントの通常の一般的な追加ルールの通常の証明に戻ってみてください。

覚えておいてください：条件付き確率は、すべての確率質量を条件付けイベントに集中させます（この場合、 $A \cup B$ ）。アイデアは、場所に焦点を当てることです $C$ そのイベントと交差します。

ちなみに図のRコードは

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

これは、Jaynesのルールのみを使用して数式を作成するのにどのように役立ちますか？OPで指定された2つのルールのみを使用することになっています。

— Dilip Sarwate、2011年

1

@ディリップ私はこのジェインズ問題の最も難しい部分は、彼が狙うべき公式を明示的に述べなかったことだと思います。しかし、この図により、ヘックで有効である可能性のある式を確認できます。そうです。私が考えている式は、積と和のルールだけで証明できます（実際、ジェインズは、パラグラフですぐにそれを行いました元の演習を続行します！）。

@Jay問題は、私が自分の答えのコメントで指摘したように、式のすべてが

P (C ∣ A \cup B)

$P(C \mid A\cup B)$ 必ず条件付けする必要があります

A \cup B

$A\cup B$ 。一方、あなたが言うように、Jaynesのテキストは、よく知られた結果の条件付きバージョンを証明します。

P (A \cup B) = P (A) + P (B) - P (A B)

$P(A \cup B) = P(A) + P(B) - P(AB)$ 。離れて壊れやすいです順化のためではないので、イベントをコンディショニングイベント。

— Dilip Sarwate、2011年

@ディリップうん、コンディショニングイベントを分割することはできません、私はあなたと一緒です。

1

ベイズの定理は

p (C ∣ A + B) = \frac{p (A + B ∣ C) p (C)}{p (A + B)} .

$p(C\mid A+B) = \frac{p(A+B\mid C)\;p(C)}{p(A+B)} \, .$ ここで、条件付きおよび無条件の合計ルールを使用して、

p (C ∣ A + B) = \frac{p (A ∣ C) + p (B ∣ C) - p (A B ∣ C)}{p (A) + p (B) - p (A B)} p (C) .

$p(C\mid A+B) = \frac{p(A\mid C)+p(B\mid C)-p(AB\mid C)}{p(A)+p(B)-p(AB)}\;p(C) \, .$ もちろん、問題は、この式がジェインズにとって「十分に類似」するかどうかです。

— 禅
ソース

OPがコメントで指摘したように、「Jaynesのフレームワークでは、常に何かを条件付ける必要があります。P（X）はすべてのXに対して未定義です。したがって、単一の条件での条件付けは避けられません。」だから、あなたは、P（C）、P（A）、などを書き込むことが許可されていません

— ディリップSarwate

1

トートロジーを取り除くことはできません。トートロジーを追加して積ルールを適用し、次に合計ルールを適用すると、次のようになります。

p (C | (A + B) W) = \frac{p (C A | W) + p (C B | W) - p (A B | W)}{p (A | W) + p (B | W) - p (A B | W)}

$p(C|(A+B)W) = \frac{p(CA|W)+p(CB|W)-p(AB|W)}{p(A|W)+p(B|W)-p(AB|W)}$

ここで、すべての確率はトートロジーの事後として表現されます。これは、この問題に対して取得できる合計ルールと最も類似していると思います。それが解決策になります。

条件を追加すると、 $p(AB|W)=0$ （すなわち $A$ そして $B$ 相互に排他的です）問題2.2で証明する必要があるのと同じ式を取得します。これは、この解決策がおそらく正しいことを示します（ベイズ帰納法による）。

— MastermindX
ソース

0

コックスのルールのみに従って、 $W=X$ Jaynesの本のように、MastermindXのソリューションがあります。

p (C | (A + B) X) = \frac{p (C (A + B) | X)}{p ((A + B) | X)} (product rule)

$p(C|(A+B)X) = \dfrac{p(C(A+B)|X)}{p((A+B)|X)} \qquad \text{(product rule)}$

= \frac{p ((C A + C B) | X)}{p ((A + B) | X)} (distributive property of the conjunction)

$= \dfrac{p((CA+CB)|X)}{p((A+B)|X)} \qquad \text{(distributive property of the conjunction)}$

= \frac{p (C A | X) + p (C B | X) - p (C A B | X)}{p ((A + B) | X)} (sum rule on numerator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p((A+B)|X)} \qquad \text{(sum rule on numerator)}$

= \frac{p (C A | X) + p (C B | X) - p (C A B | X)}{p (A | X) + p (B | X) - p (A B | X)} (sum rule on demoninator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(sum rule on demoninator)}$

= \frac{p (A | X) p (C | A X) + p (B | X) p (C | B X) - p (A B | X) p (C | A B X)}{p (A | X) + p (B | X) - p (A B | X)} (product rule on numerator)

$= \dfrac{p(A|X)p(C|AX)+p(B|X)p(C|BX)-p(AB|X)p(C|ABX)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(product rule on numerator)}$

例のソリューション。2.1は、製品ルールの第2章の意図に従います。「最初に、論理製品の妥当性に関する一貫したルールを探します。 $AB$ もっともらしく $A$ そして $B$ 個別に」（24ページ）。さらに、相互に排他的な命題 $A$ そして $B$ 、これは式に等しいです。（2.67）例：2.2、私たちが取った場合 $\{A_{1} = A$ 、 $A_{2} = B\}$ ; MastermindXでも示されています。ジェインズ自身が追加情報を削除しないことに注意してください $X$ Eq。（2.67）、これは両方の演習で予想される解決策だと思います。

— AATR
ソース