情報ジオメトリを使用して距離とボリュームを定義します...便利ですか?


13

確率分布の空間でフィッシャーの情報メトリックを自然なローカルメトリックとして使用し、それを統合して距離とボリュームを定義することを提唱する多数の文献に出会いました。

しかし、これらの「統合された」数量は実際に何かに役立つのでしょうか?理論的な正当化はなく、実用的なアプリケーションはほとんど見つかりませんでした。1つはドキュメントを分類するために「フィッシャーの距離」を使用するGuy Lebanonの作品であり、もう1つはモデル選択のロドリゲスのABCです...「Fisherのボリューム」はモデル選択に使用されます。どうやら、「情報量」を使用すると、モデル選択のためにAICおよびBICよりも「桁違いに」改善されますが、その作業のフォローアップは見ていません。

理論的な正当化は、この距離または体積の測定値を使用し、MDLまたは漸近的な引数から導出された境界よりも優れた一般化境界を持つか、合理的に実用的な状況で証明できるこれらの量のいずれかに依存する方法があるかもしれませんこの種の結果はありますか?


フィッシャーの情報は、パラメーター推定の下限を示します。「この方向では、私の問題の難易度はそれ以上減少することはできない」というようなことを大まかに言っているので、それは自然な測定基準です。一般化境界と呼ばれるものは上限ですか?フィッシャーメトリックを使用するメソッドのパフォーマンスを知りたいですか(言及した大きなボディは良いリストです)?申し訳ありませんが、私は本当に質問を得ません:)その点を再定式化できますか?
ロビンギラード

フィッシャーの情報マトリックスがリーマン計量テンソルを与えるとしましょう。積分することにより、任意の曲線の弧長を見つけることができます。次に、pとqの間の距離を、pとqを結ぶすべての曲線の最小アーク長として定義します。これは私が尋ねている距離の尺度です。ボリュームと同じ。
ヤロスラフブラトフ

1
だから、単なる一例として、ロドリゲスは、モデルの複雑さの尺度として「情報量」を用いて有意な改善を取得しますが、意外にも、私は他の誰がこのアウトしようとして見ることができない
ヤロスラフBulatov

回答:


5

主にフィッシャーの情報メトリックを使用したリーマン多様体上のMCMCテクニックに関する先週の王立統計学会での論文がありました:http ://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

著者が指摘しているように、結果は有望なように見えますが、関心のある多くのモデル(混合モデルなど)では、フィッシャー情報には分析形式がありません。


1
それは「リーマン多様体ランジュバン」論文ですか?ある時点でフィッシャー情報を統合しますか?
ヤロスラフブラトフ

4

最もよく知られている議論は、座標変換に対して不変であるフィッシャーメトリックを使用して、情報のない事前確率(ジェフリーズ事前確率)を定式化できることです。私はそれを買うかどうかわかりません!

あまり知られていないが、これらの「統合された量」が発散することがあり、漁師の距離が発散の一般化されたセット(およびその特性)を生成すると主張することがあります。

しかし、それでも、漁師の情報とそれが生成する量についての直観的な説明はまだ見つかりません。見つけたら教えてください。


フィッシャー情報については多くのことが知られていますが、それはフィッシャー情報の不可欠な要素であり、私にはわかりません。フィッシャー情報が統合に関するいくつかの既知の分岐点に変化していることについてあなたが言うことはよく知らない
ヤロスラフ・ブラトフ

4

「フォローアップなし」が存在する理由は、これについて長年遡ってロドリゲスの仕事を理解している人はほとんどいないからです。それは重要なものであり、将来的にはもっと多くのことを見るでしょう。

ただし、フィッシャーメトリックは、実際にはカルバックリーブラー距離(またはその一般化)によって定義され、ツェルナーの定式化につながる真のメトリック(たとえば、エントロピー事前確率の確立に関するノイマンの論文)の2次近似にすぎないと主張する人もいますMDI事前。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.