応用データサイエンスにおける情報理論の利用

今日、ジェームスストーンの「情報理論：チュートリアルの紹介」という本に出会い、少しの間、応用データサイエンスにおける情報理論の使用の範囲について考えました（まだこのあいまいな用語に慣れていない場合は、IMHOデータサイエンスが栄光のバージョンであるデータ分析を考える）。情報理論に基づくアプローチ、方法、および測定法、特にエントロピーが、さまざまな統計手法とデータ分析手法のもとで重要に使用されていることをよく知っています。

しかし、私は、応用社会科学者が理論の数学的起源を深く掘り下げることなく、それらの概念、手段、およびツールをうまく選択して適用するために必要な知識の範囲/レベルに興味があります。上記の本（または他の同様の本-お気軽にお勧めします）または一般的な文脈で私の懸念に対処するかもしれない、あなたの回答を楽しみにしています。

また、他の（より多くの）従来の統計的アプローチ（頻出主義者およびベイジアン）との関連で（比較して）情報理論とその概念、アプローチ、方法、および測定について説明する印刷物またはオンラインソースのいくつかの推奨事項にも感謝します。

質問の最初の部分：データサイエンティストは情報理論を知る必要がありますか？答えはごく最近までないと思います。気が変わった理由の1つは、ノイズです。

多くの機械学習モデル（確率的かどうかにかかわらず）は、エンコーディングと変換プロセスの一部としてノイズを使用します。これらのモデルの多くでは、モデルの変換された出力をデコードした後にノイズが影響する確率を推測する必要があります。これは情報理論の核心部分だと思います。それだけでなく、ディープラーニングでは、KLダイバージェンスは、情報理論からも使用される非常に重要な指標です。

質問の2番目の部分：最良の情報源は、David MacKayの情報理論、推論および学習アルゴリズムです。彼は情報理論から始め、それらのアイデアを推論とニューラルネットワークの両方に取り入れます。PdfはDaveのWebサイトで無料で、講義はオンラインで提供されています。