情報理論はきちんとした組み合わせステートメントを証明するために使用されましたか？

情報理論を使用して簡潔な組み合わせステートメントを簡単な方法で証明するお気に入りの例は何ですか？

私が考えることができるいくつかの例は、ローカルでデコード可能なコードの下限に関連しています。たとえば、このペーパーでは、長さのバイナリ文字列の束に対して、すべてのに対して異なるとますペア{ }、この場合、mは少なくともnの指数関数であり、指数は平均比に線形に依存します。 N iはkはI 、J 1、J 2 、EをI = X jの1 ⊕ X J 2。k i /$x_1,...,x_m$$n$$i$$k_i$$j_1,j_2$

別の（関連する）例は、ブールキューブの等周不等式です（回答でこれについて詳しく説明してください）。

もっと良い例はありますか？できれば、短く簡単に説明できます。

建設的なLovasz Local Lemmaの Moserの証明。彼は基本的に、ローカル補題の条件下で、SATの2番目に単純なアルゴリズムが機能すると考えることができることを示しています。（最初の最も簡単な方法は、1つが機能するまでランダムな割り当てを試みることです。2番目の最も簡単な方法は、ランダムな割り当てを選択し、不満足な句を見つけて満たしてから、他の句を確認し、完了するまで繰り返します。）これが多項式時間で実行されることの証明は、おそらく私がこれまで見た中で最もエレガントな情報理論（またはコルモゴロフの複雑さ、この場合はそれを呼び出したいもの）の使用です。

このタイプの私のお気に入りの例は、シアラーの補題のエントロピーベースの証明です。（私はこの証明と他のいくつかの非常にきれいなものをJaikumar RadhakrishnanのEntropy and Countingから学びました。）

クレーム：あなたが持っていると仮定しの点R 3たN xは上の別個の突起のY のZ -plane、nはY上の別個の突起のx のz -plane及びnは、Z上の異なる突起のx のy -planeを。その後、N 2 ≤ N X N Y N Z。$n$$\mathbb{R}^3$$n_x$$yz$$n_y$$xz$$n_z$$xy$$n^2 \leq n_x n_y n_z$

証明：n個の点からランダムに一様に選択された点とします。聞かせたp X、p個のY、PのZは上にその突起を示すY軸、Z、XとZとXとYはそれぞれ平面。 $p = (x,y,z)$$n$$p_x$$p_y$$p_z$$yz$$xz$$xy$

一方で、、H [ PのX ] ≤ ログn個のXは、H [ PのY ] ≤ ログN Y及びH [ PのZ ] ≤はログN Zをエントロピーの基本的な特性によって、。$H[p] = \log n$$H[p_x] \leq \log n_x$$H[p_y] \leq \log n_y$$H[p_z] \leq \log n_z$

一方、およびH [ p x ] = H [ y ] + H [ z | y ] H [ p y ] = H [ x ] + H [

したがって、我々は、又はN 2 ≤ N X N Y N Z。$2 \log n \leq \log n_x + \log n_y + \log n_z$$n^2 \leq n_x n_y n_z$

ラダクリシュナンのエントロピー証明完璧なマッチングの数があることブレグマンの定理の、部グラフにおける（L ∪ R 、Eは）以下であるΠのV ∈ L（D （V ）！）1 / D （V ）。この証明では、2つの非常に巧妙なアイデアを使用しています。証拠のスケッチは次のとおりです。$p$$(L\cup R, E)$$\prod_{v \in L} (d(v)!)^{1/d(v)}$

• 完全に一致する均一に選択します。この変数のエントロピーは、H （M ）= log pです。$M$$H(M) = \log p$
• 以下のために、聞かせてXのVが中頂点であるRと一致するVにおけるM。$v \in L$$X_v$$R$$v$$M$
• 変数同じ情報有するMをので、H （M ）= H （X ）。$X = (X_v : v \in L)$$M$$H(M) = H(X)$
• 巧妙なアイデア1：ランダムに（かつ均一に）順を選択にL、ラダクリシュナンは述べ"無作為連鎖ルール"を提供Hを（Xは）= ΣのV ∈ Lの H （XのV | XのU：U < Vを、≤ ）。$\leq$$L$$H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
• 条件の情報（）から、N v = | N （v ）∖ X u：u < v | （大まかに：vに一致する選択肢の数）。${X_u : u < v}, \leq$$N_v = |N(v) \setminus { X_u : u < v }|$$v$
• ため、この情報から決定され、調整さエントロピーは等価では変化しないH （XのV | XのU：U < V、≤ ）= H （XのV | XのU：U < V、≤ 、N V）。$N_v$$H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
• 賢いアイデア2：情報の"忘れる"ことで、我々は唯一のエントロピーを増やすことができます：H （XのV | XのU：U < V、≤ 、N V）≤ H （X V | N v）。${X_u : u < v}, \leq$$H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
• Crazy Fact：変数は集合1 、… 、d （v ）に均一に分布しています。$N_v$${1,\dots, d(v)}$
• さて、エントロピー計算する、我々はすべての値の総和NのV：H （XのVを| N V）= ΣのD （V ）I = 1$H(X_v | N_v)$$N_v$$H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
• 結果は、すべての不等式を結合し、指数を取ることにより得られます。

この不等式の一般化は、カーン- Lovász定理である：任意のグラフにおける完全マッチングの数最大であるΠのV ∈ V （G ）（D （V ）！）1 / 2 D （V ）。この結果のエントロピー証明は、カトラーとラドクリフによって証明されました。$G$$\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

非常に良い例が、コンペナトリアル理論における情報理論的方法であるピッペンガーの2つの論文に含まれています。J.コーム 理論、Ser。A 23（1）：99-104（1977）およびブール関数のエントロピーおよび列挙。IEEE Transactions on Information Theory 45（6）：2096-2100（1999）。実際、Pippengerによるいくつかの論文には、エントロピー/相互情報による組み合わせの事実のかわいい証拠が含まれています。また、2冊の本：Jukna、Extrememal Combinatorics With Applications in Computer ScienceとAigner、Combinatorial Searchにはいくつかの良い例があります。マディマンらの2つの論文も好きです。Additive Combinatoricsの情報理論的不等式、およびTerence Tao、エントロピーサムセット推定値（Google Scholarで見つけることができます）。それが役に立てば幸い。

もう1つの優れた例は、Terry Tao によるSzemerédiグラフの規則性補題の代替証明です。彼は情報理論的観点を使用して、規則性補題の強力なバージョンを証明します。これは、ハイパーグラフの規則性補題の証明に非常に役立つことが判明しました。タオの証明は、超グラフ規則性補題の最も簡潔な証明です。

この情報理論的観点について非常に高いレベルで説明してみましょう。

2つの頂点セットV 1およびV 2とエッジセットEがV 1 × V 2のサブセットである2部グラフがあるとします。Gのエッジ密度はρ = | E | / | V 1 | | V 2 | 。私たちは言うGがあるε -regularすべてのための場合はU 1 ⊆ V 1およびU 2 ⊆ V $G$$V_1$$V_2$$V_1 \times V_2$$G$$\rho = |E|/|V_1||V_2|$$G$$\epsilon$$U_1 \subseteq V_1$$U_2 \subseteq V_2$、とU 2によって誘導される部分グラフのエッジ密度はρ ± ϵ | U 1 | | U 2 | / | V 1 | | V 2 | 。$U_1$$U_2$$\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

今、頂点選択検討からV 1及び頂点のx 2からV 2ランダムに独立して均一。場合はεが小さく、あるU 1、U 2が大きく、我々は解釈することができεの-regularity Gをそのコンディショニングを言うように、X 1にあるようにU 1及びX 2にあるようにU 2というくらいの確率に影響を与えません（X 1、x $x_1$$V_1$$x_2$$V_2$$\epsilon$$U_1, U_2$$\epsilon$$G$$x_1$$U_1$$x_2$$U_2$Gにエッジを形成します。言い換えると、 x 1が U 1にあり、 x 2が U 2にあるという情報を与えた後でも、（x 1、x 2）がエッジであるかどうかに関する多くの情報を取得していません。$(x_1,x_2)$$G$$x_1$$U_1$$x_2$$U_2$$(x_1,x_2)$

Szemeredi規則補題（非公式）のためにことを保証する任意のグラフ、一つのパーティションを見つけることができとの仕切りV 2サブセットのほとんどようなペアのように一定の密度のサブセットにU 1 ⊂ V 1、U 2 ⊂ Vを2、U 1 × U 2で誘導された部分グラフはϵ正則です。2つの高エントロピー変数x 1およびx 2が与えられ、イベントE （$V_1$$V_2$$U_1 \subset V_1, U_2 \subset V_2$$U_1 \times U_2$$\epsilon$$x_1$$x_2$、低エントロピー変数 U 1（x 1）および U 2（x 2） -サブセット U 1および U 2が一定密度であるため、「低エントロピー」を見つけることができます-などその Eはおよそ無関係です X 1 | U 1および x 2 | U $E(x_1,x_2)$$U_1(x_1)$$U_2(x_2)$$U_1$$U_2$$E$$x_1 | U_1$$x_2 | U_2$、または変数間の相互情報が非常に小さいこと。Taoは実際に、このセットアップを使用して規則性補題のはるかに強力なバージョンを作成します。たとえば、彼はとx 2が独立変数であることを要求しません（私が知る限り、この一般化の適用はまだありません）。 $x_1$$x_2$

基本的に、この質問に専念するコース全体があります。

https://catalyst.uw.edu/workspace/anuprao/15415/86751

コースはまだ進行中です。そのため、これを書いている時点ですべてのメモが利用できるわけではありません。また、コースからのいくつかの例はすでに言及されました。

我々が持っていると仮定しの点をℓのD 2と次元削減をしたいです。ペアワイズ距離を最大で1 ± ϵ変化させたい場合、次元をdからO （log n / ϵ 2）に減らすことができます。これはジョンソン・リンデンシュトラウスの補題です。10年間、次元の最もよく知られた下限はΩ （log n /（ϵ 2 log （1 / ϵ ）））でした$n$$\ell_2^d$$1 \pm \epsilon$$d$$O(\log n / \epsilon^2)$$\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$サイズのギャップがあったアロンによって、よう。最近、Jayramとウッドラフは閉じアロンの下限を改善することにより、このギャップを。それらの証明は、幾何学的構造にほとんど依存していません。彼らがしていることは、より良い限界が可能であれば、それが特定の通信の複雑さの下限に違反することを証明することです。そして、この限界は情報理論ツールを使用して証明されます。$\sim \log(1 / \epsilon)$

$m$$u \in [m]$$x \in [m]$$x=u$$t$$t$

$O(m^{1/t})$$\log m$$u$$t$$i \in [t]$$(\log m)/t$$i$$u$

$X$$[m]$$H[X] = \log m$$X_1, \dots, X_t$$t$$H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$$s$$s \geq m^{1/t}$

$t > 1$

$P$$P$$O(\log |X|)$$X$$P$

コルモゴロフ計算量を使用したアルゴリズムの平均ケース分析、 Jiang、Li、Vitanyiによる。

「アルゴリズムの平均的なケースの複雑さを分析することは、非常に実用的ですが、コンピューターサイエンスでは非常に難しい問題です。過去数年間で、コルモゴロフの複雑さはアルゴリズムの平均ケースの複雑さを分析するための重要なツールであることを実証しました。非圧縮性メソッドを開発しました[7]。このホワイトペーパーでは、いくつかの簡単な例を使用して、このような方法の威力とシンプルさをさらに実証します。順次または並列のQueueusortまたはStacksortのソートに必要なスタック（キュー）の平均ケース数の限界を証明します。

たとえば、コルモゴロフの複雑性とハイルブロン型の三角形問題も参照してください。

スコットアーロンソンによるサンプリングと検索の同等性。ここで彼は、拡張教会チューリング論文の有効性に関する複雑性理論におけるサンプリングと検索の問題の等価性を示しています。標準情報理論、アルゴリズム情報理論、およびコルモゴロフの複雑性は、基本的な方法で使用されます。

彼は、
「コルモゴロフの複雑さを単に技術的な便宜として、またはカウント引数の省略形として使用していないことを強調しましょう。むしろ、コルモゴロフの複雑さは検索問題を定義するためにも不可欠です。」

この1のシンプルでも近似：10件のどのように多くの組み合わせが⁶物事10のうち⁹、重複を許可しますか？正しい式は

N =（10 ⁶ + 10 ⁹）！/（10 ⁶！10 ⁹！）〜= 2 ^{11409189.141937481}

しかし、10億個のバケツの列に沿って歩き、その途中で100万個の大理石をバケツに落とすよう指示することを想像してください。〜10 ^9個の「次のバケットへのステップ」指示と10 ^6個の「大理石を落とす」指示があります。合計情報は

log ₂（N）〜= -10 ⁶ log ₂（10 ⁶ /（10 ⁶ + 10 ⁹））-10 ⁹ log ₂（10 ⁹ /（10 ⁶ + 10 ⁹））〜= 11409200.432742426

これは面白いですが、（ログの）カウントを概算するのに非常に良い方法です。組み合わせ論のやり方を忘れても機能するので、気に入っています。それは言うことと同等です

（a + b）！/ a！b！〜=（A + B）^{（A + B）} / Bの^B

これは、スターリングの近似を使用したり、キャンセルしたり、何かを見逃したりするようなものです。

LinialとLuriaによる高次元順列の上限を与える非常に良い最近のアプリケーションはこちらです：http ://www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf