打ち切りデータとは正確には何ですか？

打ち切りデータのさまざまな説明を読みました。

A）このスレッドで説明されているように、特定のしきい値を下回るまたは上回る数量化されていないデータは打ち切られます。数量化されていないということは、データが特定のしきい値を上回るか下回ることを意味しますが、正確な値はわかりません。データは、回帰モデルの低しきい値または高しきい値でマークされます。これは、このプレゼンテーションの説明と一致しますが、非常に明確であることがわかりました（最初のページの2番目のスライド）。つまり、は最小値、最大値、またはその両方に制限されます。これは、その範囲外の真の値がわからないためです。$Y$

B）友人から、未知の結果に関する少なくともいくつかの制限情報があれば、打ち切りデータモデルを部分的に未知の 観測に適用できると言われました。たとえば、いくつかの定性的基準（商品の種類、国、入札者の富など）に基づいて、サイレントオークションと公開オークションの組み合わせの最終価格を推定します。公開オークションではすべての最終価格わかりますが、サイレントオークションでは最初の入札（たとえば1,000ドル）だけがわかり、最終価格はわかりません。この場合、データは上から打ち切られ、打ち切り回帰モデルを適用する必要があると言われました。$Y$$Y_i$$Y_i$

C）最後によって与えられた定義があるウィキペディア完全に欠けているが、予測因子が利用可能ですが。この例が切り捨てられたデータとどのように異なるかはわかりません。$Y$

では、打ち切られたデータとは正確には何ですか？

結果および共変量xに関する次のデータを考えます。$y$$x$

user y       x   
1    10      2 
2   (-∞,5]   3 
3   [4,+∞)   5   
4   [8,9]    7
5     .      .

ユーザー1には、完全なデータがあります。他のすべての人については、不完全なデータがあります。ユーザー2、3、および4はすべて打ち切られます。共変量の既知の値に対応する結果は観測されないか、正確に観測されません（左打ち、右打ち、間隔打ち切り）。これは、調査設計におけるプライバシーの考慮事項の成果物である場合があります。他の場合には、他の理由で起こります。たとえば、最低賃金を下回る賃金や、アリーナの定員を超えるコンサートチケットの実際の需要は観察されません。

ユーザー5は切り捨てられます。結果と共変量の両方が欠落しています。これは通常、何かをした人に関するデータのみを収集するために発生します。例えば、何かを買って、私たちだけの調査の人々 （）、私たちはと誰も除外ので、Y = 0を自分と一緒にX秒。サンプルの生成に使用されたルールを知っているので、このタイプのユーザーの出力データに行がない場合もあります。もう1つの例は偶発的な切り捨てです。従業員が賃金を提示しているのは、あなたが働いているときの賃金であると想定しているためです。yに依存しないため、切り捨ては偶発的です。$y>0$$y=0$$x$$y$、しかし別の変数に。

要するに、切り捨ては打ち切りよりも大きな情報損失を意味します（ポイントAおよびB）。これらのタイプの「ミッシングネス」はどちらも体系的です。

通常、このタイプのデータを扱うには、エラーについて強い分布を仮定し、これを考慮に入れる可能性を変更する必要があります。より柔軟なセミパラメトリックアプローチも可能です。これは、ポイントBで暗黙的です。

記述的に言えば、「データサンプルは、その中のいくつかの観測値がサンプルの極値をとる、または構成するが、その真の値が観測されたサンプル範囲外の場合、打ち切られます」を提供します。しかし、これは一見簡単です。

そこで、まず、データセットが打ち切られたと結論付ける方法について説明しましょう。これにより、質問で提示されたケースを議論することになります。

離散確率変数から次のデータセットが与えられたと仮定します。これについて知っているのは、それが負でないことだけです。$X$

データセットが打ち切られていると言えますか？まあ、それはそうかもしれないと考える権利がありますが、必ずしもそうではありません：

1）範囲有していてもよい、{ 0 、1 、2 }と確率分布{ 0.1 、0.1 、0.8 }。これが実際に当てはまる場合、ここでは打ち切りは行われず、境界付きのサポートと非常に非対称な分布を持つ、このようなランダム変数からの「予測される」サンプルだけが表示されます。 $X$$\{0,1,2\}$$\{0.1,0.1,0.8\}$

2）しかし、その場合であってもよい範囲有する{ 0 、1 、。。。、9 }一様な確率分布をもつ{ 0.1 、0.1 、。。.0 .1 }、この場合、データサンプルはほとんど打ち切られます。 $X$$\{0,1,...,9\}$$\{0.1,0.1,...0.1\}$

どうすればわかりますか？私たちは、事前の知識や情報を持っている場合を除き、いずれかのケースに賛成して議論することはできません。質問で提示された3つのケースは、打ち切りの効果に関する事前知識を表していますか？どれどれ：

ケースA）は、「非常に大きい」、「非常に小さい」などの定性的な情報しか持たない一部の観測について、極端な値を観測に割り当てる状況を示しています。実際に実現された値を知らないだけでは、極端な値を割り当てることを正当化しないことに注意してください。だから我々は持っている必要がありますいくつかのこれらの観察のために、その値を超えたり、すべての観測されたものを下回っている旨の情報を。この場合、ランダム変数の実際の範囲は不明ですが、定性的な情報により、打ち切りサンプルを作成できます（実際の実現値を持たない観測値を単にドロップしない理由については別の議論です） ）。

ケースB）は、正しく理解していれば検閲のケースではなく、汚染されたサンプルのケースです：先験的な情報は、ランダム変数の最大値が超えてはならないことを示しています（物理法則またはこの-suppose社会法則はグレーディングシステムから成績データであることを使用する唯一の値1 、2 、3）。しかし、値4と値5も観察しました。どうすればいいの？データの記録の間違い。しかし、そのような場合、4と5がすべて3である必要があることは確かではありません$3$$1,2,3$$4$$5$$4$$5$$3$（実際、コンピューターのサイドキーボードを見ると、が1で、5が2である可能性が高くなります！）サンプルをなんらかの方法で「修正」することにより、ランダム変数は最初に記録された範囲内にあると想定されていないため、打ち切られたものにしません（したがって、値4および5に割り当てられる真の確率はありません））。 $4$$1$$5$$2$$4$$5$

ケースC）は、従属変数と予測変数がある共同サンプルを指します。通常の例を「労働時間」、失業者が仕事をしませんではなく、彼らは：ここでは、研究対象の現象の構造に起因する従属変数の値は、一方または両方の極端に集中しているサンプルを有していてもよいだろううまくいきました（慎重に考えてください：このケースは、この回答の冒頭の記述的な「定義」に本当に該当しますか？）。したがって、記録された時間「ゼロ」で回帰にそれらを含めると、バイアスが生じます。他の極端な場合、最大労働時間数は16に到達できると主張されるかもしれません$16$/日、および所定の賃金で非常に多くの従業員を喜んで雇用する従業員がいるかもしれません。しかし、法的枠組みでは許可されていないため、このような「勤務時間」は観察されません。ここでは、「意図された労働供給機能」を推定しようとしています。そして、この変数に関して、サンプルが検閲されていると特徴付けられています。
しかし、「失業現象と法的枠組みを考慮した労働供給機能」を推定することを宣言した場合、サンプルはこれらの2つの側面の効果を反映するため、検閲されません。それを行う。

そのため、データサンプルを
a）検閲済みとして特徴付けるには、さまざまな状況に由来する可能性があり、
b）切り捨て
の場合と混同される可能性があるという事実だけでも注意が必要です。

私にとって、打ち切りとは、観測値に関する部分情報を観測​​することを意味します。私はこれによって意味するもので、観察するのではなくZを私は = zの私たちが観察をZ I ∈ A 私どこ私はの実現であるA Iサンプル空間のいくつかのランダムな粗大化され、。我々は最初のパーティションを選択していることを想像するかもしれませんA IサンプルスペースのZが、その後、Zが、私は、生成されたが、我々は報告A I ∈ A Iように$Z_i$$Z_i = z_i$$Z_i \in a_i$$a_i$$A_i$$\mathcal A_i$$\mathcal Z$$Z_i$$A_i \in \mathcal A_i$（同等に、我々は報告 I （Z I ∈ A ）のために、すべての A ∈ A I）。たとえば、 Z iの情報価値のない打ち切りは、 A iが Z iから独立していることを意味します。$Z_i \in A_i$$I(Z_i \in A)$$A \in \mathcal A_i$$Z_i$$\mathcal A_i$$Z_i$

これは少し発見的でずさんです。我々は、おそらくもの分布することを要求すべきである検討する非縮退であるZ iの検閲を。定義されるように我々はまた、これはの一般化であり、なお可能性が不足しているデータのためにZ iは = （X I、Y Iは）一つは言うかもしれないYをiがあれば不足している私は = { X } × Y $[Z_i \mid Z_i \in a_i]$$Z_i$$Z_i = (X_i, Y_i)$$Y_i$$a_i = \{x\} \times \mathcal Y$$\mathcal Y$はのサンプル空間であり、a i = Zの場合、Z iは欠落しています。「Z iは打ち切られました」と言うとき、もし彼らが私の定義に従っていれば、彼らが通常意味するのは「Z iは打ち切られているが、欠落していない」ということです。$Y$$Z_i$$a_i = \mathcal Z$$Z_i$$Z_i$

それは区別することが重要です検閲対切り捨てと同様に不足しているデータ。

打ち切りは、特に生存分析と問題発生時間の結果の問題に適用されます。この場合、目前のイベントは、その個人の観察を停止した時点を過ぎた時点で発生したと想定されます。例としては、男性とセックスを持つ男性（MSM）と、研究コーディネーターとの接触をやめて移動する前向き研究でのHIV感染のリスクがあります。

切り捨ては、実際の値がそのポイントよりも大きいまたは小さいことがわかっている特定のポイントまで評価する連続変数に適用されます。例としては、HIVを患う被験者の監視や、本格的なAIDSの発症などがあり、CD4細胞数が300を下回ると、検出下限300まで評価されます。

最後に、欠損データとは、実際の値が何らかの意味で観察されないデータです。打ち切られたデータには、イベントまでの時間データが欠落しておらず、切り捨てられていません。

1. 検閲：これは、対象のイベントが発生する前に観測期間が中断されたことを示すために使用される用語です。したがって、「検閲データ」は、特定のイベントの期間が発生していない、または発生していないことを示します