相対正規化効用関数をpmfとして扱う場合、シャノンエントロピーまたはシャノン情報の解釈は何ですか？

10

仮定 $\Omega$ 離散確率変数との相互に排他的な結果の集合であり効用関数であり、等、 $f$ $0 < f(\omega) \leq 1$ $\sum_\Omega f(\omega) = 1$

場合均一に分配される及びある確率質量関数、シャノンエントロピーであります最大化（、および 1つの要素がすべてのの質量を持っている場合、シャノンエントロピーは最小化されます（実際は）。これは、驚き（または不確実性の低減）および結果と不確実性（または予想される驚き）および確率変数に関する直観に対応します。 $f$ $\Omega$ $f$ $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ $=log|\Omega|)$ $\Omega$ $f$ $0$

とき均一に分布され、不確実性が最大化され、そしてより多くの成果があっ質量が均一に分散させるために、より多くの不確実我々はされています。 $f$
とき、そのすべての質量が一つの結果に集中しており、私たちは何の不確実性を持っていません。 $f$
結果に確率を割り当てると、実際に観察しても情報は得られません（「驚きません」）。 $1$
に近い確率を結果に割り当てると、実際に発生する結果の観察はますます有益になります（「驚くべき」）。 $0$

（もちろん、これははるかに具体的ですが、認識論的ではありませんが、シャノンの情報/エントロピーのコーディング解釈については何も述べていません。）

ただし、効用関数の解釈がある場合、意味的な解釈はありますか？ $f$ または $log\frac{1}{f(\omega)}$ ？あるかもしれないように私には思われる： $\sum f(\omega)log\frac{1}{f(\omega)}$

場合 PMFとしては、一様分布を表し、次に、に効用関数の対応として無関心大きくすることができなかった結果オーバー* $f$ $\Omega$ $f$
1つの結果にすべての効用があり、残りには何もない効用関数（存在する可能性があるように効用が歪んでいる）は、非常に強い相対的な好み、つまり無関心の欠如に対応します。

これを拡張するリファレンスはありますか？離散質量変数に対する確率質量関数と正規化された相対効用の比較の制限について何か見落としましたか？

*私は無差別曲線を知っていますが、カテゴリカルなサンプル空間への私の焦点から始めて、「無差別」自体には興味がないという事実から始めて、さまざまな理由でそれらが私の質問にどのように関連しているのかわかりません、むしろ、ユーティリティを確率として解釈する方法、および問題の（離散）「確率分布」が実際に、または（さらに）ユーティリティ関数の解釈を持っている場合に、確率の汎関数を解釈する方法。

— EM23
ソース

私には答えはありませんが、あなたの質問により、公平なケーキカットの問題でエントロピーを使用することを考えさせられます：en.wikipedia.org/wiki/Fair_cake-cutting 標準モデルは、ケーキは間隔[0、 1]、および間隔に異なる正規化された値メジャーを持つ

エージェントがいます。測度は非アトミックであると想定されていますが、それらの「エントロピー」に関するさらなる仮定はありません。効用関数がエントロピーを制限しているケーキカット問題について私たちが何を言えるかを考えるのは興味深いかもしれません。

n

$n$

— Erel Segal-Halevi 2015

3

シャノンのエントロピーについて説明する前に、もう1つ説明する必要がある点があります。序数ではなく、基本的な効用を考えているようです。

もちろん、「正規化された」ユーティリティ関数はどちらの場合でも導出できます。しかし、「相対的選好」の概念は、主要な効用のコンテキストでのみ定義および測定できます。

そして、あなたが説明する両極端ではなく、すべての可能な中間的なケースで問題が発生します。

簡単な例：3つの「結果」、（たとえば、消費レベル、またはある量の3つの異なる商品）があると仮定します。それらに値を割り当てたユーティリティ関数 $A, B, C$

V (A) = 1, V （ B ） = 9 、 V （ C ） = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

通常のユーティリティでは、これは単に

あ <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

確かに、これらを割って正規化すると、 $100$

で、3つの結果のランキングは保持されます

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$

しかし、通常のユーティリティの下では、別のユーティリティ関数を割り当てて、

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

そして得る

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

ランキングは同じなので、2つの効用関数とは通常効用の下では同等です。 $V$ $W$

しかし、あなたが説明しているものでは、ユーティリティ関数はとは異なる相対的な好みを表すため、同じユーティリティ関数ではありません。しかし、これは、効用数間の定量的な比較が意味を持っていると想定される、基幹効用の下でのみ意味があります。 $W$ $V$

カーディナルユーティリティを取り巻く問題に精通していますか？

— アレコスパパドプロス
ソース

そのような問題が存在することを知っていますか？はい。（個人的な啓発を超えて）なぜそのような問題を注意深く検討する必要があるのか知っていますか？本当にそうではありませんが、私が関心を持っているドメイン（カテゴリーRVであるアクションと環境の決定問題）では、ユーティリティは一般的に、私が知る限り、基本的なものであると見なされます

と

は確かに異なるユーティリティ関数と見なされます、特に、同じ序数の優先順位を表示することにより、特に関連しています。しかし、私は枢機卿の効用を取り巻く問題についてもっと聞いて幸せです。

V

$V$

U

$U$

— EM23、2015

3

他の回答でOPと交換した後、彼のアプローチを少し使ってみましょう。

我々は、離散ランダム変数有する、有限の支持体とを、確率質量関数（PMF） $X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

のサポートの値は、実数値の基数ユーティリティ関数の入力でもあります $X$ 。次に、正規化された効用関数を検討します $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

そして私たちは

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

有限領域の正規化された非負の離散関数が確率質量関数の特性を一般的に満たしているという観測を行うだけではないことに注意してください。具体的には、が値が入力となる確率変数。 $w(x_i)$ $w(x_i)$

以来、確率変数の測定機能である、それは、あまりにも、ランダム変数です。そのため、期待値などを有意義に検討できます。私たちが持っている無意識の統計学者の法則を使用して $w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

これは凸関数であり、制約の下で超えて極値化しようとすると、簡単に取得できます $p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

そして、私たちは一般的な結果を得ました：

$X$

$w(X)$ $E[w(X)]=1/k$

$w(X)$

しかし、これはOPが考えていることではないという印象です。むしろ、それはシャノンのエントロピーをいくつかの望ましい代数的特性を持ち、おそらく何かを意味のある方法でコンパクトに測定できるメトリックと見なします。

これは、以前は経済学、特に産業組織で行われており、市場集中度の指標（「競争の度合い/市場の独占的構造」）が構築されていました。ここで特に関連があるように見えるのは2つです。

$n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

$w(X)$

R_{e} = - \sum_{i = 1}^{n} s_{i} \ln s_{i}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

Encaoua、D.＆Jacquemin、A.（1980）。独占の度合い、集中の指標および参入の脅威。国際経済レビュー、87-105。、「許容可能な」濃度指数の公理的導出を提供します。つまり、それらはそのような指数が所有しなければならない特性を定義します。彼らのアプローチは抽象的であるため、OPが調査して意味を付けたいものに役立つと私は信じています。

— アレコスパパドプロス
ソース

1

$v=v*2-0.5$

したがって、まずユーティリティに意味のある比率スケールを提供する必要があります。これを行う1つの方法は、自然な0ユーティリティレベルに解釈を与えることです。この仕様がなければ、エントロピーは無意味です。

— HRSE
ソース