非論理的な調査回答の処理方法

アーティストのサンプルにアンケートを提出しました。質問の1つは、芸術活動、政府支援、私的年金、芸術に関連しない活動によって得られる収入の割合を示すことでした。個人の約65％が、合計が100になるように回答しています。他の人はそうではありません。たとえば、収入の70％が芸術活動から得られ、60％が収入政府から得られると答える人がいます。 、 等々。私の質問は、これらの観察結果をどのように扱うべきですか？それらを削除、変更、または保持する必要がありますか？ありがとうございました！

これは、感度分析に適した状況です。3つの方法のそれぞれでデータを分析します-

1. 彼らはあるとして
2. 「非論理的」、つまり、パーセンテージが100（または100 +/- 10）にならない人々を除外した後
3. 各人の割合が合計で100になるように、必要に応じて調整した後

次に、結果を比較し、どの結果がより正確であるか、特定の点でより正確であるかについて開発可能な理論的根拠を共有します。

また、論理と非論理が異なる場合のさまざまな方法を調査することもできます。非論理的はより高い収入を報告する傾向がありますか？特定のアイデアやプログラムに対するサポートを強化するには？他の質問をスキップするには？真っ直ぐな回答や極端な回答を不均衡に選択するという意味で、より偏見を持たせるには？

約400またはこれらillogicalsで、あなたもの間の関係を評価するための十分なデータ持っ度 illogicalityとバイアスの与えられたタイプの程度を。用量反応関係のようなもの。

これらの調査から学んだことは、関心のある主要な分析に関しては、非論理的問題に対処する計画にフィードバックされる可能性があります。

すでにここで言及したように、これらの答えは必ずしも非論理的ではありません。たとえば、あなたは言う

他の人はそうではありません。たとえば、収入の70％が芸術活動から得られ、60％が収入政府から得られると答える人がいます。

収入の30％が政府のために行われた芸術的活動に由来する場合、それは完全に理にかなっています。次に、3つのグループがあります。

• 政府とは無関係の芸術活動：40％。
• 芸術活動とは無関係の政府：30％。
• 政府が助成する芸術活動：30％。

これらの数値は合計で100％です。

次の質問を検討してください。

• フードスタンプは政府や活動に関連していませんか？
• 社会保障は政府ですか、それとも年金ですか？
• 政府の年金（元政府職員）は私的年金ですか、それとも政府ですか？
• 絵画の芸術的活動または政府をペイントするための政府助成金はありますか？
• 地元の学校で芸術を教える仕事はありますか、それとも芸術に関係しない活動ですか？
• 芸術の仕事から引退した場合（教育やコマーシャル、ギフトカードの引出しなど）、年金は私的または芸術的な活動ですか？または、教育の場合、おそらく政府ですか？

これらのカテゴリを相互に排他的にしたいようです。しかし、誰もがそのように解釈するとは思わない。これらの活動をどのように分類すべきかについて明確な考えを持っているかもしれませんが、回答者が回答時に同じ部門を念頭に置いていたかどうかは明らかではありません。少なくとも、数字を100％に増やしたい場合は、それを人々に伝える必要があります。

個人的には、この種の問題に対する最善のアプローチは、一種のフォーカスグループを行うことだと思います。従来の調査では、回答を検証できない場合があります。そのため、調査の対象となる人々に電話または訪問して、会話を始めてください。次に、あなたが理解できない答えを彼らが出したら、その理由を彼らに尋ねます。そして、それを超えて、あなたが望むような結果を得るために、どのように質問をしたのかを彼らに尋ねてください。これは、インタラクティブであるという点で、フォーカスグループのように機能します。

これを行うと、フォーマットに適合しない応答をどのように処理するかについてのより良いアイデアを得ることができます。たとえば、30％を余分に取り、それぞれから半分を引きます。その後、芸術活動は55％、政府は45％になります。または、40％の私的な芸術活動、30％の政府支援の芸術活動、および30％のその他に分類することもできます（この場合、政府は芸術活動に関係のないフードスタンプや家賃支援など）。または、人々があなたのカテゴリーを正しく理解していないため、調査を捨ててやり直してください。これの一部は、カテゴリの意味を理解したことと、カテゴリの解釈方法に依存します。

今は遅すぎますが、今後の調​​査では、調査の前に定期的なフォーカスグループの実施を検討してください。その後、グループ環境で質問をテストして改善できます。グループから追加の質問を受けることさえあります。これを直接行うのが難しい場合は、オンラインで行うことを検討してください。または、実際の調査を行う前に、電話で個人的にテスト調査（少数の人々、フォローアップの質問で回答を検証）を行います。これらはいずれも、質問を明確にするのに役立ちます。

たとえば、おそらくあなたの本当のカテゴリーは芸術活動からの個人所得であるはずです。政府が後援する芸術活動。元職からの個人年金。芸術的活動とは無関係のその他の収入。または何か違う。問題の一部は、あなたが何を望んでいるかわからないことです。これは、あなたの回答者もどちらもできないと思います。3つの異なる解釈がある場合、3つの異なる調査からの回答を混合しているようです。

非論理的な応答の一般的なケースについては、答えを提供できません。しかし、この特定のタイプの質問については-そこに行って、それをしました。調査だけでなく、半構造化されたインタビューでも、この種の回答を人々がどのように思いついたかを観察する機会がありました。これに加えて、認知プロセスの観察と分析に関する一般的な経験に基づいて、データを合計100％に正規化することをお勧めします。理由は、人々は最初に最も顕著なカテゴリに移動するようである-あなたの場合、それは最大の収入になる-パーセントでそれの直感的な推定を与え、次に小さなカテゴリを考え始め、その相対的な推定に基づいて最初のカテゴリのアンカーに加えて、さらにすでに言及したカテゴリのアンカーに。

たとえば、一連の思考は次のようになります。「私の最初の収入源は確かに半分以上です。60％になりますか？いいえ、それは低すぎます。たとえば65％です。2番目は約3分の1です。 、それは20％を少し超えるでしょう、ええと、私の頭の中でそれを計算するのは難しいです、25％に切り上げましょう。3番目も最初の3分の1のように感じますが、実際には常に第二に、それは30％であるべきか、それとも35でしょうか？いいえ、30で行きましょう。ああ、私は4番目のソースがあることを忘れていました。 5または10％？Probabaly 5は近いですが、それほど多くはありません」。したがって、65 + 25 + 30 + 5 = 125％の答えになります。

人々は、合計に対する各部分の相対的なサイズよりも収入部分の相対的なサイズをより意識する傾向があるため、収入に対して何らかの数値分析を実行したい場合、ここでそれらを正規化することが適切だと思います。人々の信念と収入と客観的現実に関する声明の違いがあなたの仕事にとって重要なトピックである場合、たとえばあなたが認知バイアスを研究している心理学者である場合、またはあなたがより興味がある場合、経済的状況よりもアーティストの自己認識。

悲しいことに、私が説明したとおりに実際に機能することを証明する優れた資料はありません。これは単なる個人的な経験的観察です。しかし、他の回答が言ったように、それを扱うための単一の「正しい」方法はないので、レビュアーがこの種の決定に巻き込まれるとは思わない。どちらかといえば、クエリ手法の欠陥のために、この質問のデータ全体が無効であるとして却下されます。あなたができる最善のことは、先制的にそれを認め、あなたの仕事がそれでも有用である理由と、データのこの特定の不正確なソースにもかかわらず、あなたが描いている結論がまだ良い理由について議論することです。

社会科学が私に何かを教えてくれたなら、あなたが人々に論理的に矛盾した反応を与える機会を与えれば、彼らはそうするでしょう。あなたの主題について珍しいことは何もないので安心してください。これは、将来の調査を設計する際に留意すべきことです。とりあえず、回答をそのままにしておくことをお勧めします。分析では、考えられるように、実際には回答が100％にならないことを念頭に置いてください。本当の割合ではなく、各カテゴリから各被験者がどれだけの収入を得ているかというノイズのシグナルがあるので、そのように分析します。

芸術活動、政府支援、個人年金、芸術に関連しない活動

一見すると、「芸術的活動」と「芸術に関係のない活動」は合計で100％になるはずです。

もちろん、「芸術に関連しない活動」は、「芸術に関連しない活動」と同じではありません。何も活動しないことに関連する収入があるからです。しかし、それはほとんどのアーティストが気付かない髪の毛の分裂です。

カテゴリ1と4の合計が100％になると想定し、それに応じて回答者を再解釈すると、ほとんどのカテゴリでカテゴリ2と3がカテゴリ4に含まれていることがわかります。

ただし、これはすべてデータ操作であり、理想的ではありません。正確な統計的回答が必要な場合は、正確なデータを収集する必要があります。調査への回答にうそをつく人もいるかもしれませんが、それを防ぐのは難しいですが、正直にあなたの質問に答えようとする人が何を意味するのか混乱している場合は、調査を書き直す必要があります。

アンケートを送信する前に、次回、理解度とあいまいさについて調査を校正します。

収入に4つのカテゴリを指定しました-それらのどれにも含まれない収入はどうですか？たとえば、保有株式からの配当収入。いかなる形態の活動からの収入でもありませんが、政府の支援や年金でもありません。他の情報がない場合は、回答を正しいとみなし、回答者がカテゴリの対象とは考えていなかった情報源に、不足している資金を帰属させる必要があることをお勧めします。

実際、これは非常に単純です（そして、あなたが考えるほど非論理的ではありません）！パーセンテージを求めることで、実際にあなたが求めている収入のさまざまなカテゴリーの割合だと思います。そのため、単純に100％に正規化できます。あなたの例：誰かが言うなら：私の収入の70％が芸術活動からであり、60％が政府支援からである、この人（パーセントと働くことの訓練をおそらく経験したことがない）は実際に言っています：相対的な芸術活動と政府からの収入の大きさまたは割合は、約70〜60または7〜6です（割合が合計すると100になることに気付いていないことが適切です。）次のように、単純に正規化することにより、割合に関するこれらのステートメントを割合に関するステートメントに変換できます。70/ 130 * 100 = 53％の芸術的収入、および60/130 * 100 = 47％の政府支援収入。

（ここで実際に行うことは、実際には130％を「新しい」100％として、比率を計算することです。）

PS。これは、指定されたパーセンテージの合計が100に等しくないすべての場合に機能します

お役に立てれば！

すでに与えられた回答の大部分は、明らかな調査方法論的欠陥への洞察をすでに提供しているので、ここではそれについては触れません。代わりに、このデータがすでに収集されており、問題があるにもかかわらず、このデータを処理する方法に関するいくつかの実用的なオプションを提供します。これを処理する方法はいくつかあります。「有効な回答」の定義を満たさなかった回答にマークを付けることは、質問全体を欠落として扱い、ここで説明するような項目非回答を処理するための任意の数のプラクティスに従うことを検討できます。

また、パーセンテージが100になるように各応答をスケーリングすることを検討することもできます。各応答がパーセンテージとして記録されると仮定すると、これは各元の応答を再コーディングすることで実行できます。 $y_{{old}_{ij}}$ $(j=1,2,3,4)$ 質問に対する4つのサブコンポーネント（芸術活動、政府支援、個人年金、芸術に関連しない活動）を新しい応答に $y_{{new}_{ij}}$ 次のように：

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ たとえば、回答者がいたとします $i$ 次のように答えた人：

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

次に、次のように再コーディングします。

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

すべての新しいパーセンテージが100％に追加されることに注意してください。あなたが何をするにしても、結果を報告するときは必ず変換を非常に明確にしてください。@ rolando2は、これらの変換があなたの結論にどのように影響するかを見るために、感度分析を実行する方法に関する優れたアドバイスを提供したと思います。