信頼区間が広すぎて役に立たないと考えているクライアントに何と言いますか？

私がコンサルタントであり、信頼区間の有用性をクライアントに説明したいとします。クライアントは、私の間隔が広すぎて役に立たない、そして彼は半分の幅を使うことを好むだろうと私に言います。

どうすれば対応できますか？

それは、クライアントが「役に立つ」という意味に依存します。間隔をarbitrarily意的に狭めるというクライアントの提案は、間隔を狭めることで何らかの方法でエラーのマージンを減らすという誤解を反映しているようです。データセットがすでに収集され、修正されていると仮定すると（そうでない場合、コメントの@shabbychefのジョークが答えを提供します）、クライアントへの応答は、「無料ランチ」がない理由を強調して説明する必要がありますあなたはしているの間隔を狭くすることで何かを犠牲にします。

具体的には、データセットが固定されているため、信頼区間の幅を縮小できる唯一の方法は、信頼レベルを下げることです。したがって、真のパラメーター値が含まれていると確信している間隔を広くするか、自信がない間隔を狭くするかを選択できます。つまり、信頼区間が広いほど保守的です。もちろん、幅または信頼レベルのいずれかを無意識に最適化することはできません。これは、パラメーター空間全体に広がることで信頼区間を空虚に生成でき、カバレッジが0 ％であっても無限に狭い信頼区間を取得できるためです。 $100 \%$$0 \%$

控えめな間隔がより有用であるかどうかは、コンテキストと間隔の幅が信頼レベルの関数としてどのように変化するかに明確に依存しますが、はるかに低い信頼レベルを使用して取得するアプリケーションを想像するのに問題がありますより狭い間隔が望ましいでしょう。また、信頼区間が広く普及しているため、たとえば60 ％の信頼区間を使用している理由を正当化することは困難です。 $95 \%$$60\%$

クライアントが信頼区間を使用する対象に完全に依存することをお勧めします。

1. ある種のレポート/出版物など。通常、95％CIが報告されます。クライアントがあなたの専門知識に遅れをとる傾向があるかどうかに応じて、「統計的に正当化されていない」と彼に伝えて、そのままにしておくことができます。そうでない場合、あなたは彼らが望むものであなた自身のプロの快適さについて判断する必要があります。
2. 何らかの内部ドキュメント-同意しないことを明確にし、95％ではないため、読者が現在見ている信頼区間のタイプを明確にします。
3. 推定の不確かさの尺度として、どれだけの感度分析をしなければならないかを決定するために言ってください。95％CIと68％CIのようなものの両方を含む完全な分布を示す図を彼らに与えて、彼らにそれを持たせます。

「だからもっと大きな研究を実行する」ことを私の口から出せないようにできたら、私は自分自身を非常に誇りに思うでしょう。

ほとんどの人が行うように、標準偏差を使用します。68％CIに慣れている人は95％CIが怖いことがあります。

90％や95％などの特定の標準レベルで信頼区間を指定します。クライアントは、間隔が広すぎて役に立たないかどうかを判断できます。しかし、もちろん、それを短くして便利にすることができるという意味ではありません。サンプルサイズを大きくすると、サンプルサイズの平方根の係数でおおよそ減少するため、所定の信頼レベルで間隔の幅を小さくすることを提案できます。