2つの分析方法が同等であることを示す方法は何ですか？

マトリックス内の特定の分子の濃度を測定できる2つの異なる分析方法があります（たとえば、水中の塩の量を測定します）

2つの方法は異なり、それぞれに独自のエラーがあります。2つの方法を示すためにどのような方法が存在するかは、同等（または同等）です。

両方の方法で測定された多数のサンプルの結果を散布図にプロットすることは良い第一歩だと思いますが、良い統計的方法はありますか？

単純な相関アプローチは、メソッド比較研究の結果を分析するための正しい方法ではありません。私が最後に参照したこのトピックに関する（少なくとも）2つの強く推奨された本があります（1,2）。簡単に述べると、測定方法を比較する場合、通常、（a）結論は比較に使用した特定のサンプルに依存してはならず、（b）特定の測定機器に関連する測定誤差を考慮する必要があります。これは、相関に基づく方法を排除し、アイテムの体系的な影響を反映できるようにする分散コンポーネントまたは混合効果モデルに注意を向けます（ここで、アイテムは、データが収集される個人またはサンプルを表します）。 （a）。

あなたの場合、2つの異なる方法を使用して収集された単一の測定値があり（それらのどれもがゴールドスタンダードと見なされない可能性があると思います）、実行する最も基本的なことは、平均との差（）をプロットすることです（（X 1 + X 2）/ 2）; これはbland-altman-plotと呼ばれます。これにより、（1）2つの測定セット間の変動が一定であるか、（2）差の分散が観測値の範囲全体で一定であるかを確認できます。基本的に、これはX 1対X 2の単純な散布図の45度回転です$X_1-X_2$$(X_1+X_2)/2$$X_1$$X_2$、およびその解釈は、線形回帰で使用される近似値対残差値のプロットに近いです。そして、

• 差が一定の場合（一定のバイアス）、一致の限界を計算できます（（3）を参照）
• 測定範囲全体で差が一定でない場合は、2つの方法の間に線形回帰モデルをあてはめることができます（予測子として使用する方法を選択してください）。
• 差の分散が一定でない場合は、一定の分散で関係を線形にする適切な変換を見つけてください

その他の詳細は、（2）の第4章に記載されています。

参考文献

1. ダン、G（2004）。信頼性研究の設計と分析。アーノルド。International Journal of Epidemiologyのレビューをご覧ください。
2. Carstensen、B（2010）。臨床測定方法の比較。ワイリー。Rコードを含む関連Webサイトを参照してください。
3. BlandとAltmanによるオリジナルの記事、臨床測定の2つの方法間の一致を評価するための統計的方法。
4. Carstensen、B（2004）。いくつかの測定方法の比較と予測。生物統計学、5（3）、399–413。

真の濃度を知る方法がない場合、最も簡単なアプローチは相関です。それ以上のステップは、メソッド1を使用してメソッド2の結果を予測する単純な回帰を実行することです（またはその逆）。メソッドが同一の場合、切片は0になります。切片が0より大きいか小さい場合は、ある方法の別の方法に対するバイアスを示しています。メソッドが平均して同じ結果を生成する場合（切片で上向きまたは下向きのバイアスを制御した後）、標準化されていない勾配は1に近いはずです。標準化されていない勾配の誤差は、2つの方法が一致する範囲の指標となる可能性があります。

ここで統計的手法の難しさは、帰無仮説として一般的に提起されているもの、つまり、手法間に違いがないことを確認しようとしているように思えます。これは、p値を必要とせず、意味が「同等」であることを数量化でき、2つの方法が互いに離れる前に2つの方法がどれだけの偏差を持つことができるかを決定できる限り、統計的方法を使用することによる致命傷ではありません。それらは同等であると考えてください。上記で詳述した回帰アプローチでは、勾配推定の周りの信頼区間に1が含まれ、切片の周りのCIに0が含まれている場合、同等の方法を検討できます。

@drnexusに同意します。さらに、2つの方法の分散の等価性について、Morgan-Pitman検定をお勧めします。これにより、1つのメソッドに他のメソッドよりも分散があるかどうかがわかります。おそらく2つのテストは異なるバイアス分散のトレードオフを持っているため（たとえば、1つのテストは常に50％（バイアスはあるが分散がない）であるが、他のテストはバイアスがないが非常にノイズが多い）ので、これ自体は悪いことではないかもしれません。ここでは、ドメインの知識がいくらかあると、メソッドにどの程度のトレードオフが必要かを判断するのに役立ちます。もちろん、他の人が指摘しているように、「ゴールドスタンダード」を持つことは非常に好ましいでしょう。

かなり古い質問ですが、今日また出てきました。

一般的なキーワードは、「分析化学における検証」であり、そのように、ここで少しオフトピックである（しかし、ここには化学サイト（まだありませんよう：http://area51.stackexchange.com/proposals/4964/chemistryは、Iしばらくここに置いておくことができると思います）

このための分析化学にはいくつかの標準的な手順があります。

書籍：

• ファンク他 al：分析化学における品質保証、Wiley-VCH。

• クロミダス（組織）：Wiley-VCHのAnalytikでの手作業の
  妥当性検査（英語版があるかどうかはわかりません（まだありません）。ただし、目次には多変量キャリブレーションの検証がリストされています。）

IUPACにもそれについて言うべきことがある：

• Danzer、K.およびCurrie、LA：分析化学におけるキャリブレーションのガイドライン。パートI.基礎と単一成分のキャリブレーション、Pure and Applied Chemistry、IUPAC、1998、4、993-1014

• Danzer、K.およびOtto、M.およびCurrie、LA：分析化学におけるキャリブレーションのガイドライン。パート2：多成分キャリブレーションPure and Applied Chemistry、2004、76、1215-1225

「分析手法」という言葉の使い方は、少しわかりにくいです。「分析手法」とは、特定のモデル/推定戦略を意味するものと想定します。

おおまかに言って、推定量を選択するために使用できるメトリックには2つのタイプがあります。

サンプル内のメトリック

• 尤度比/ Wald検定/スコア検定
• R ²
• サンプル内ヒット率（サンプルデータの正しい予測の割合）
• （モデル/推定コンテキストに応じて、他の多くのメトリック）

サンプル外のメトリック

• サンプル外ヒット率（サンプル外データの正しい予測の割合）

推定値が同等の場合、これらのメトリックで同等のパフォーマンスが得られます。また、推定値が互いに統計的に異ならないかどうか（平均の等価性の2標本検定など）を確認することもできますが、その方法論はモデルとメソッドの詳細に依存します。