選択するパラメーター推定の方法を知るにはどうすればよいですか？

パラメータの推定には、かなりの数の方法があります。MLE、UMVUE、MoM、意思決定理論、その他はすべて、パラメーター推定に役立つ理由についてかなり論理的なケースがあるように見えます。ある方法は他の方法よりも優れていますか、それとも単に「最適な」推定量を定義する方法の問題ですか（直交誤差を最小化すると通常の最小二乗アプローチから異なる推定値が生成されるのと同様）？

ここには、推定量を導出する方法と、推定量を評価するための基準という 2つの点にわずかな混乱があります。最尤法（ML）とモーメント法（MoM）は、推定量を導出する方法です。均一最小分散不偏性（UMVU）と決定理論は、異なる推定量を取得した後の評価基準ですが、それらを導き出す方法はわかりません。

推定量を導出する方法のうち、データが導出されたモデル（専門用語での「データ生成プロセス」（DGP））を知っている場合、MLは通常、MoMよりも効率的な（すなわち、分散が小さい）推定量を生成します。しかし、MoMはモデルに関する仮定を少なくしています。その名前が示すように、それだけでちょうど平均値または単に平均と分散は通常、一の以上のモーメントを使用していますので、それはだ、時にはあなたがわからDGPについていないのであれば、より堅牢な。同じ問題に対して複数のMoM推定器が存在する場合がありますが、DGPを知っている場合、ML推定器は1つしかありません。

推定量を評価する方法のうち、決定理論は推定量を判断するために使用する損失関数を持つことに依存しますが、結果は「合理的な」損失関数の範囲に対してかなりロバストになります。UMVU推定量は、しばしば存在しません。多くの場合、常に最小の分散を持つ不偏推定量はありません。また、偏りの基準は、変換に対して不変ではないため、有用性に疑問の余地があります。たとえば、オッズ比または対数オッズ比の不偏推定量を好むでしょうか？2つは異なります。

推定量のタイプはいくつかのことに依存することをお勧めします。

1. 見積もりを間違えるとどうなりますか？（たとえば、推定器が低すぎる場合と比較して高すぎる場合は悪くないのですか？またはエラーの方向について無関心ですか？エラーが2倍大きい場合、これは2倍の不良ですか？それはパーセンテージエラーまたは絶対エラーですか？それは重要ですか？予測は予測に必要な中間ステップのみですか？大きなサンプルの動作は小さなサンプルの動作よりも重要ですか？）
2. 見積り量に関する事前情報は何ですか？（たとえば、データは量とどのように機能的に関連していますか？量が正であるかどうかを知っていますか？離散しますか？この量を以前に推定しましたか？データの量はありますか？データに「グループ不変性」構造はありますか？）
3. どんなソフトウェアがありますか？（たとえば、MCMCを実行するためのソフトウェアがない場合はMCMCを提案したり、実行方法がわからない場合はGLMMを使用したりすることはできません。）

最初の2つのポイントはコンテキスト固有であり、特定のアプリケーションについて考えることで、通常、推定器に必要な特定のプロパティを定義できます。次に、実際に計算できる推定器を選択します。この推定器には、必要な数のプロパティがあります。

教育コースに推定に関するコンテキストがないということは、以前の情報と同様に「デフォルト」基準がしばしば使用されることを意味すると思います（最も明白な「デフォルト」は、データのサンプリング分布を知っていることです）。そうは言っても、特にコンテキストについて十分に知らない場合は、デフォルトのメソッドのいくつかが優れています。しかし、コンテキストを知っていて、そのコンテキストを組み込むツールがある場合は、そうする必要があります。そうしないと、直感に反する結果が得られる可能性があります（無視したため）。

私は一般的なルールとしてMVUEの大ファンではありません。公平性を得るには、あまりにも多くの分散を犠牲にする必要があることが多いからです。たとえば、ダーツボードにダーツを投げており、ブルズアイにヒットしたいとします。ブルズアイからの最大偏差が特定のスロー戦略で6cmであると仮定しますが、ダーツポイントの中心はブルズアイの1cm上です。中心はブルズアイ上にある必要があるため、これはMVUEではありません。ただし、分布を（平均で）1 cm下方にシフトするには、半径を少なくとも10 cmに増やす必要があると仮定します（したがって、最大誤差は6 cmではなく10 cmになります）。これは、分散が既に小さい場合を除き、 MVUEで発生する可能性のある種類です。私のほうがはるかに正確な投げで、誤差を0.1cmに狭めることができたとします。今私はブルズアイを打つことは決してないので、バイアスは本当に重要です！

要するに、私にとって、バイアスは分散に比べて小さい場合にのみ重要です。また、通常、サンプル数が多い場合に小さい分散しか得られません。