フィッシャーカーネルを超えて

しばらくの間、確率モデルからカーネルを構築する方法のように思われたため、Fisher Kernelが人気になるように思われました。ただし、実際に使用されることはめったにありません。また、十分に機能しない傾向があるというのは、十分な権限があるためです。彼らはフィッシャー情報の計算に依存しています-ウィキペディアの引用：

フィッシャー情報は、fの自然対数のθに関する2次導関数の期待値の否定です。情報は、θの最尤推定値（MLE）に近いサポート曲線の「曲率」の尺度であると見なすことができます。

私が知る限り、これは2点間のカーネル関数がこの曲面に沿った距離であることを意味します-私は正しいですか？

ただし、これは、カーネルメソッドでの使用に問題がある可能性があります。

1. MLEは、特定のモデルの非常に悪い推定値である可能性があります
2. MLEの周囲のサポートカーブの曲率は、インスタンスを区別するために使用できない可能性があります。
3. これはモデルに関する多くの情報を捨てるようです

これが事実である場合、確率論的方法からカーネルを構築するより現代的な方法はありますか？たとえば、ホールドアウトセットを使用して、MAP推定値を同じ方法で使用できますか？（有効な）カーネル関数を構築するために、確率論的手法からの距離または類似性のその他の概念はどのように機能しますか？

あなたが提起する3つの問題についてあなたは正しく、あなたの解釈は正確です。

人々は、確率論的モデルからカーネルを構築する他の方向性を見てきました。

• モレノ等。私がそれを読んだときにこの問題を振り返ったとき、これがマーサーの条件を満たしているときはよく理解されていませんでしたが、カルバック・ライブラーを提案してください。

• ジェバラ他 分布の空間で内積を提案します。このペーパーは、あなたが求めているものとよく似ています。ここからダウンロードできます。

私は以前（2008年）にそれらを読みましたが、その領域が過去数年間どのように進化したかはわかりません。

そうするための非確率的方法もあります。バイオインフォマティクスの人々は、文字列の空間などで動的プログラミングの種類のものを見てきました。これらは常にPSDであるとは限らず、独自の問題があります。