アンケートからの無駄な質問の特定


12

アンケートを作成しています。その信頼性と妥当性を改善するために、統計的手法を使用したいと思います。

答えが常に同じである質問を排除したい。これは、ほぼすべての参加者がこれらの質問に対して同じ回答をしたことを意味します。

今、私の質問は:

  1. 使用の文脈とは無関係に、答えが常に同じであるような役に立たない質問の専門用語は何ですか?
  2. そのような質問を識別する方法は何ですか?

4
誰もが同じ答えを出す質問の特別な名前は知りません(他の誰かがそうするかもしれません)。私はおそらくそれらを「情報価値のない」と呼ぶでしょう。回答者の時間を無駄にすること以外は、おそらくそれほど害はありません。間違いなくそれらを取り除く必要がありますが、評価する潜在的な変数と相関しない(「ロードオン」)質問を見つけて削除することに、より一般的に焦点を当てることができます。
GUNG -復活モニカ

7
経験則の1つは、回答者の80%が同じ回答をした場合、その質問は有益ではないということです。しかし-時々あなたはそれを知りたいです。「あなたは殺人者ですか」はそのルールによる有益な質問ではありませんが、新しいルームメートを得る前にそれを知りたいと思うでしょう。そのため、厳格なルールはありません。
ジェレミーマイルズ14

4
そのような質問(変動性が非常に低い)は、それらが属する特性の尺度としては悪いです。しかし、それらは時々含まれており、うそつきやずるい回答者を追跡するのに役立ちます。
ttnphns 14

回答:


9

古典的テスト理論(CTT)とアイテム応答理論(IRT)の両方は、どのアイテムが測定したい潜在特性に寄与しているか、および寄与していないかに関するガイダンスを提供できます。CTTでは、1)アイテムの難易度、2)合計スコアとのアイテムの相関、3)アイテムの分散、4)アイテムが削除された場合の内部一貫性の推定値(Cronbachのアルファなど)への影響を考慮します。

簡単すぎたり難しすぎたりする項目は、主題を分けるのに役立たない傾向があります(高得点者と低得点者を区別します)。トップパフォーマーの違いを測定することに興味がない限り、非常に難しい質問を削除することを検討する必要があります。同様に、非常に簡単なアイテムは、低パフォーマンスのパフォーマンスに関心がある場合にのみ適しています。

すべての項目は合計スコアと正の相関があり、その相関の下限を0.20程度にガイドとして設定できます。低い相関または負の相関は、アンケートに言葉遣いの問題があり、質問のスコアを逆にする必要があることを示す場合があります。

分散(スコアの変動性)が低いアイテムは、被験者を分離せず、調査から収集された情報に寄与しないため、削除を検討する必要があります。分散が非常に大きいアイテムは、測定したい構成/特性以外のものを測定している可能性があります。

アイテムを削除すると内部整合性の推定値が改善する場合、そのアイテムを削除するか、言い換える必要があります。

全員が正しいアイテムは最大アイテムであり、全員が間違っているアイテムは最小アイテムと呼ばれることがあります。彼らはあなたが収集しようとしている情報には貢献しません。

ハイステークスアンケートを作成している場合、またはアンケートのマーケティングを計画している場合は、間違いなくIRTを検討する必要があります。しかし、それは大きなサブジェクトエリアであり、あなたが本当に興味がない限り、ここに入るためのスペースはおそらく価値がありません。

お役に立てれば。


4

あなたが探しているのはアイテムレスポンス理論だと思います。あなたが参照する「役に立たない」質問は、差別の少ない項目です。IRT分析を使用すると、調査参加者によるアイテムの推測、難易度、および関連する確率を計算できます。RプログラムにはIRTを使用するための簡単なパッケージがあり、他の統計ソフトウェアパッケージも同様に機能すると思います。

簡単な概要が必要な場合は、ウィキペディアのページをご覧ください。ただし、さらに調査することをお勧めします。 http://en.wikipedia.org/wiki/Item_response_theory

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.