「天井効果」が発生していると結論付けるには、どのような基準を満たす必要がありますか?


13

社会科学研究方法のSAGE百科事典によると…

[a]メジャーに潜在的な応答の明確な上限があり、この制限で、またはその近くで参加者の集中度が高い場合、天井効果が発生します。スケール減衰は、この方法で分散が制限されるたびに発生する方法論的な問題です。…たとえば、天井効果は、高いスコアが好ましい態度を示し、最高の反応が可能な限り最も肯定的な評価を得ることができない態度の尺度で発生する場合があります。…天井効果の問題に対する最適なソリューションはパイロットテストでありこれにより問題を早期に特定することができます。天井効果が見つかった場合[および]結果の尺度がタスクのパフォーマンスである場合、潜在的な応答の範囲を拡大するためにタスクをより困難にすることができます。1 [強調を追加]

あるように思わたくさんアドバイス質問ここおよび上記の引用で説明したものと同様の天井効果を示すデータを分析することを扱います)。

私の質問は単純なものでも素朴なものでもかまいませんが、データに天井効果が存在することを実際にどのように検出しますか?具体的には、心理測定テストが作成され、天井効果(視覚検査のみ)につながる疑いがある場合、テストを修正してより広い範囲の値を生成するとします。改訂されたテストにより、生成されたデータから天井効果が除去されたことをどのように示すことができますか?データセット内の天井効果があることを示しているテストがありますが、データセットの中にいない天井効果bが

私の素朴なアプローチは、分布のゆがみを調べることです。もしそれがゆがんでいなければ、天井効果はないと結論付けます。それは過度に単純化されていますか?

編集

より具体的な例を追加するために、年齢とともに増加するが最終的には横ばいになり、高齢になると減少し始める潜在的な特性xを測定する機器を開発するとします。範囲が1〜14の最初のバージョンを作成し、パイロット操作を行って、天井効果(最大値である14付近で多数の応答が発生する可能性があることを発見しました。しかし、なぜですか?その主張をサポートする厳密な方法はありますか?

次に、1〜20の範囲になるようにメジャーを修正し、より多くのデータを収集します。この傾向は私の予想とより密接に一致していることがわかりますが、測定範囲が十分に大きいことをどのようにして知ることができますか。再度修正する必要がありますか?視覚的には問題ないようですが、疑念を確認するためにテストする方法はありますか?

ここに画像の説明を入力してください

単に見ているだけでなく、データ内でこの天井効果を検出する方法を知りたいです。グラフは理論的なものではなく、実際のデータを表しています。機器の範囲を拡大すると、データの広がりが改善されましたが、それで十分ですか?どうすればテストできますか?


1 Hessling、R.、Traxel、N.、&Schmidt、T.(2004)。天井効果。Michael S. Lewis-Beck、A。Bryman、およびTim Futing Liao(編)、The SAGE Encyclopedia of Social Science Research Methodsで。(p。107)。カリフォルニア州サウザンドオークス:Sage Publications、Inc. doi:10.4135 / 9781412950589.n102


4
前進するには、「天井効果」の運用上の定義を考え出す必要があります。一般にそれを行うことには問題があります:結局のところ、ほぼすべての測定量は、テストスコアまたは化学物質濃度の100%、機器が読み取ることができる上限など、ある値を現実的に超えることはできません。すべてのデータには固有の上限があります。そのため、「天井効果」の意図された意味はあなたの素敵な例から直感的に明確ですが、データから「除去」する必要があるものとその理由を正確に明確にすることで支援できます。
whuber

1
@whuberという用語はいくつかの異なる方法で使用されることは正しいですが、この場合、私が測定したいすべてのものを超えるのに十分な長さの定規を作ることについて話している。テストを作成するとき、誰もが100%にならないように、さまざまな難易度のアイテムを十分に含める必要があります。そうしないと、その人の能力が実際にテストの限界以上であるかどうかわかりません。データから何も削除する必要はありませんが、検閲されたデータポイントが得られなくなるまで機器を修正する必要があります。
天井

ありがとうございました。「天井効果」とはどういう意味なのか、私にはまだわかりません。なぜなら、あなたのイラストはいずれの種類の検閲の明白な証拠も示していないからです-少なくともテストで達成された種類の固定検閲制限では。実際、左から右のパネルへの変更は、垂直軸の1対1の非線形再表現のように見え、データの天井には影響しません。これは、回帰残差の非対称性など、完全に異なるものに本当に関心があるのか​​どうか疑問に思います。
whuber

1
ほとんどのポイントが重複するため、@ whuberジッターが追加されました。グラフが私の質問に関連していないように見える場合、明らかに私は何について話しているのか分かりません。私には、Hessling、Traxel、およびSchmidtによって説明されているように天井効果があるように見えますが、あなたのコメントとこの質問への完全な関心の欠如に基づいて、おそらく何もないところに問題が見られます。あなたの提案や洞察に感謝します。それは有り難いです。
天井

1
@ヨハンなるほど。あなたの質問の精神では、あなたの考えを少し修正するのが良いかもしれないと思います。残差を正規分布する必要があると考える理由がない限り、応答が低い場合は残差分布が等分散であり、応答が高い場合は切り捨てられる可能性のある応答の単調変換を見つけることができます。言い換えれば、おそらくテストは正常性のためではなく、応答に対する一貫した形状とスケールを探す必要があります。
whuber

回答:


3

まず、両方のグラフが、天井効果が存在するという明確な証拠を提供してくれると言いたいと思います。視覚的にではなく、その効果をどのように測定しようとするかは、観測の重要な部分が機器の範囲の上限近くにある限り、観測することです。通常、テストで最大スコアを達成した受験者の重要な部分がある限り、天井効果は常に存在します。

ただし、正しいスコアに基づいて機器のスコアを直接解釈する必要があったため、テスト分析の技術は大きく進歩しました。アイテム応答理論を使用して、個々のアイテムのアイテムパラメーターを推定し、それらのアイテムを使用して被験者の能力を特定できるようになりました。もちろん、テストを簡単にしすぎると、テストに上限効果が残る可能性があります。しかし、アイテム応答理論の力により、人口のごく一部のみが天井に衝突するのを防ぐために、楽器に少なくともいくつかの難易度の高いアイテムを置くことができるはずです。

質問ありがとう。それは非常に興味深いです!


2

大まかな準備ができている方法は、スケールが大きくなるにつれて分散を測定することだけだと思います。これが減少を示す場合、これは天井効果の証拠であり、そうでない場合、天井効果はありません。分散の均一性プロットを作成できます。Leveneの検定は、スケールのさまざまなポイントで分散がsigで異なるかどうかを判断するのに役立ちます。


2
アイデアをありがとう。試してみますが、この場合、年齢とともに分散が自然に減少することを期待しています。
天井

天井、この答えとあなたのコメントの両方は、2つの異なる概念を混乱させるように見えます。スケール分散は、被験者の反復の独立した測定値の分散を反映します。被験者に依存するのではなく、被験者の平均反応によって異なる可能性があります。あなたとこの回答が参照する分散は、回帰残差の分散です。それらは関連していますが、同じものではありません。
whuber

@whuberそれを指摘してくれてありがとう。ちなみに、あなたはまだ更新グラフと情報で天井効果の証拠を見ていませんか?この質問が、天井効果が存在するデータの分析に関する複数の質問と回答を考えると、ほとんど関心を集めていなかったことに非常に驚いています。
天井

こんにちは。被験者内ではなく、スケールが増加するにつれて被験者間の分散をプロットしている限り、これは天井効果について何かを教えてくれませんか?-スケールが大きくなるにつれて、Leveneのテストを使用して分散の大幅な変化をテストできますか?または、これは被験者内の変動の変化をテストするためだけに設計されていますか?「残差の分散」などの「スケール分散」以外のスケールが増加するとき、異なる人々のスコアの変動を記述するために異なる用語を使用する必要がありますか?缶ルビーン検定は、「残差の分散が」スケールにわたって均一であることを示すために使用される
user45114

0

最高点または最低点の周囲のクラスタリングが天井/床効果によるものかどうかを判断する際の重要な問題は、ケースの値が実際に値を「表す」かどうかです。天井/床効果が発生すると、最大値または最小値を想定しているにもかかわらず、実際には最大値または最小値よりも高い/低いケースがあります(大人と子供の両方が測定することを意図した非常に簡単な数学のテストを終了すると想像してください)数学能力、両方とも100%を獲得しました)。ここでは、データは打ち切られます。

固有の上限と下限を持つリッカートのようなスケールなどの境界スケールを使用する場合、別のシナリオも可能です。最高得点の人がその得点に値することは完全に可能であり、最高得点のすべての人に差はありません(上記の数学の例など)。そのような場合、データは打ち切りではなく、限界で切り捨てられます。

上記の推論に基づいて、特定のデータセットをデータの切り捨てとデータの打ち切りに適合させる手順を考案する必要があると考えています。打ち切りモデルがデータに最もよく適合した場合、天井/床効果が存在すると結論付けることができると思います。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.