SurveyMonkeyは、ランダムでないサンプルを取得するという事実を無視しますか?


11

SurveyMonkeyには、母集団のサイズに基づいて、特定の誤差範囲または信頼区間に必要なサンプルサイズを把握するための手順とチャートがあります。

SurveyMonkeyのサンプルサイズ

このチャートは、ランダムなサンプルが得られないという事実を単に無視しているのでしょうか?調査に反応することに煩わされている人々しか得られないからです。

これを入力すると、質問が主観的であると警告されるので、正しく質問していない可能性があります。それは実際にはSurveyMonkeyについてではありませんが、より一般的な質問です-私が知らないいくつかの高度な手法を使用して、自発的応答データから信頼区間を実際に計算できますか?

出口調査や全国調査では、明らかにこの問題に対処しなければなりません。私の教育では調査サンプリング技術を詳細に取り上げていませんが、人口統計データを収集し、それを使用してサンプルの代表性を知ることを含むと思います。

しかし、それを除けば、簡単なオンライン調査では、回答に迷惑をかけている人々が人口のランダムなサンプルであると彼らは単に想定しているのでしょうか?

回答:


10

短い答えは「はい」です。SurveyMonkeyは、サンプルの取得方法を正確に無視します。Survey Monkeyは、収集したものが便利なサンプルではないと想定するほど賢くはありませんが、事実上すべてのSurvey Monkeyアンケート便利なサンプルです。これは、あなたが推定している正確なサンプリングに大きな不一致を生じさせます。一方では、SRSから取得する母集団(およびその中の関連)を定義できます。他では、あなたの非ランダムサンプリングによって定義された人口、関連を定義することができそこにあなたがすることができます見積もり(およびパワールールはそのような値を保持します)。矛盾について話し合い、読者に非ランダムサンプル実際の傾向を近似する上でどれほど有効であるかを正確に決定させるのは、研究者としてのあなた次第です。

ポイントとして、バイアスという用語の使用には一貫性がありません。確率論では、推定量のバイアスはによって定義されます。ただし、推定量にバイアスをかけることはできますが、一貫性があるため、正規分布するRVの標準偏差の最尤推定値のバイアスなど、大きなサンプルではバイアスが「消えます」。つまり、です。消失バイアスのない推定量(たとえば、)は不整合と呼ばれますθP θ θP θBiasn=θθ^nθ^pθθ^pθ確率論で。研究デザインの専門家(疫学者など)は、矛盾を「バイアス」と呼ぶ悪い習慣を身につけました。この場合は、選択バイアスまたはボランティアバイアスです。これは確かにバイアスの一種ですが、一貫性がないことは、サンプリング量が問題を修正しないことを意味します。

便利なサンプルデータから母集団レベルの関連付けを推定するには、サンプリング確率メカニズムを正しく識別し、すべての推定で逆確率重み付けを使用する必要があります。非常にまれな状況では、これは理にかなっています。そのようなメカニズムを特定することは、実際には不可能に近い。それを行うことができる時期は、調査への記入を依頼された以前の情報を持つ個人のコホートです。非応答確率は、以前の情報(年齢、性別、SESなど)の関数として推定できます。重み付けにより、非応答者母集団の結果を推定する機会が得られます。国勢調査は、そのような分析における逆確率重み付けの関与の良い例です。


2
便利なサンプルは一貫性がないと見なされているが、偏っていないと見なすことができるという意味について少し詳しく説明してもらえますか?歴史的に多くの便利なサンプルはひどくバイアスされていることがわかりました(そして「バイアスされた」は正確に人々がそれらを説明するために使用した言葉です):1936年の文学ダイジェスト世論調査はおそらく最も有名な例です。
whuber

1
@whuber用語の「一貫性のない」使用を許してください。バイアスは、大きなサンプルではなくなると想定したものでしたが、一貫性のない推定値は、大きなサンプルでは決して収束しません。確率論では、一貫性のない推定量の例はほとんどありませんが、研究デザインの観点からは常に発生します。興味深いことに、疫学者はそれを「バイアス」(すなわち選択バイアス)と呼ぶ傾向があります。しかし、ポスターの質問は、確率論タイプのバイアスの場合のように、「より多くをサンプリングする」ことはバイアスを軽減することを示唆しているように見えました。
AdamO 2014年

それがすべてわかったとは思えないので、ほんの一部に焦点を当てましょう。大きな[便利な]サンプルがバイアスを減らすと断言しますか(またはしませんか)。それが間違いであるので、私はあなたがそうでないことを望みます!(これは、文献ダイジェスト投票が悪名高い理由の1つです。これは、これまでに行われた最大のバイアスの1つであり、最大のバイアスの1
つも示しました

5
確かにありません!さらにサンプリングしても、そのような本質的なバイアスは解消されません。それがここの問題です。ポスターは、無作為でないサンプルとの人口関連を推定するためのパワーに興味があり、私のポイントは、(非常に注意深く複雑な重み付けメカニズムが採用されていない限り)常にそれを推定するパワーはないということです。
AdamO 2014年

1
最後のコメントありがとうございます。それは私がそうでなければ誤解したかもしれないあなたの答えの一部を明らかにします。(+1)
whuber
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.