パラメータの推定可能性に関する問題

レッツと、このような、4つのランダム変数である、ここでは不明なパラメーターです。また、、と仮定し次に、どれが本当ですか？ $Y_1,Y_2,Y_3$ $Y_4$ $E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3$ $\theta_1,\theta_2,\theta_3$ $Var(Y_i)=\sigma^2$ $i=1,2,3,4.$

A.は推定可能です。 $\theta_1,\theta_2,\theta_3$

B.は推定可能です。 $\theta_1+\theta_3$

C.は推定可能であり、は最良の線形不偏推定値です。 $\theta_1-\theta_3$ $\dfrac{1}{2}(Y_1+Y_3)$ $\theta_1-\theta_3$

D.は推定可能です。 $\theta_2$

答えはCです。これは私には奇妙に見えます（Dを取得したため）。

なぜ私はDを得たのですか？以来、。 $E(Y_2-Y_4)=2\theta_2$

Cが答えだと理解できないのはなぜですか？わかりました、は不偏推定量であり、その分散は未満です。 $\dfrac{Y_1+Y_2+Y_3+Y_4}{4}$ $\theta_1-\theta_3$ $\dfrac{Y_1+Y_3}{2}$

どこが間違っているのか教えてください。

こちらにも投稿されています：https : //math.stackexchange.com/questions/2568894/a-problem-on-estimability-of-parameters

self-study estimation inference

— Stat_prob_001
ソース

中に入れself-studyたタグまたは誰かが一緒に来て、あなたの質問を閉じます。

— カール

@Carlできましたが、なぜですか？

— Stat_prob_001

それらはサイトのルールであり、私のルール、サイトのルールではありません。

— カール

ある？

Y_{1} \neq Y_{3}

$Y_1\neq Y_3$

— カール

@Carlは次のように考えることができます：ここで、は平均および分散 rv です。そして、ところ平均とRVで、分散

Y_{1} = θ_{1} - θ_{3} + ϵ_{1}

$Y_1=\theta_1-\theta_3+\epsilon_1$

ϵ_{1}

$\epsilon_1$

0

$0$

σ^{2}

$\sigma^2$

Y_{3} = θ_{1} - θ_{3} + ϵ_{3}

$Y_3=\theta_1-\theta_3+\epsilon_3$

ϵ_{3}

$\epsilon_3$

0

$0$

σ^{2}

$\sigma^2$

— Stat_prob_001

回答:

この答えは、推定可能性の検証を強調しています。最小分散プロパティは、私の二次的な考慮事項です。

まず、次のように線形モデルの行列形式で情報を要約します（estimabilityを議論するために、spherityの仮定は必要ありません。しかし、ガウス・マルコフ性を議論するために、我々はspherityを前提とする必要性を行います）。

\begin{aligned} (1) & Y := [\begin{matrix} Y_{1} \\ Y_{2} \\ Y_{3} \\ Y_{4} \end{matrix}] = [\begin{matrix} 1 & 0 & - 1 \\ 1 & 1 & - 1 \\ 1 & 0 & - 1 \\ 1 & - 1 & - 1 \end{matrix}] [\begin{matrix} θ_{1} \\ θ_{2} \\ θ_{3} \end{matrix}] + [\begin{matrix} ε_{1} \\ ε_{2} \\ ε_{3} \\ ε_{4} \end{matrix}] := X β + ε, \end{aligned}

$\begin{align} Y := \begin{bmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 1 & -1 \\ 1 & 0 & -1 \\ 1 & -1 & -1 \\ \end{bmatrix} \begin{bmatrix} \theta_1 \\ \theta_2 \\ \theta_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \end{bmatrix}:= X\beta + \varepsilon, \tag{1} \end{align}$

E (ε) = 0, Var (ε) = σ^{2} I

$E(\varepsilon) = 0, \text{Var}(\varepsilon) = \sigma^2 I$

ε

$\varepsilon$

計画行列の場合フルランクであり、次いでorginalパラメータユニークな最小二乗推定認め。したがって、任意のパラメータ線形関数として定義され、のそれが明確に最小二乗介してデータによって推定に推定することができるという意味で、見積りであるとして。 $X$ $\beta$ $\hat{\beta} = (X'X)^{-1}X'Y$ $\phi$ $\phi(\beta)$ $\beta$ $\hat{\beta}$ $\hat{\phi} = p'\hat{\beta}$

がフルランクではない場合、微妙さが生じます。徹底的な議論をするために、最初にいくつかの表記法と用語を修正します（線形モデルへの座標フリーアプローチ、セクション4.8 の規則に従います。用語の一部は不必要に技術的に聞こえます）。加えて、議論は、一般的な線形モデルに適用されるとと。 $X$ $Y = X\beta + \varepsilon$ $X \in \mathbb{R}^{n \times k}$ $\beta \in \mathbb{R}^k$

回帰マニホールドとして平均ベクトルの集合であり、にわたって変化： $\beta$ $\mathbb{R}^k$ $M = {X β : β \in R^{k}} .$ $M = \{X\beta: \beta \in \mathbb{R}^k\}.$

パラメトリック機能 の一次関数である、 $\phi = \phi(\beta)$ $\beta$ $ϕ (β) = p^{'} β = p_{1} β_{1} + \dots + p_{k} β_{k} .$ $\phi(\beta) = p'\beta = p_1\beta_1 + \cdots + p_k\beta_k.$

上記のように、場合、すべてのパラメトリック汎関数が推定できるわけではありません。しかし、待って、技術的に推定可能な用語の定義は何ですか？小さな線形代数を気にせずに明確な定義を与えることは難しいようです。私が最も直感的だと思う定義の1つは、次のとおりです（前述の同じ参照から）。 $\text{rank}(X) < k$ $\phi(\beta)$

定義1. Aパラメトリック機能それが一意により判定された場合には見積りである意味でたび満たす。 $\phi(\beta)$ $X\beta$ $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1,\beta_2 \in \mathbb{R}^k$ $X\beta_1 = X\beta_2$

解釈。回帰マニホールドからマッピングすることを上記の定義の規定のパラメータ空間の一対一の、保証されなければならない（すなわち、自体が一対一です）。場合、我々が存在することを知っているように $M$ $\phi$ $\text{rank}(X) = k$ $X$ $\text{rank}(X) < k$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$ 。上記の推定可能な定義は、事実上、自然に意味をなさないの同じ値であっても、異なる値自体をもたらす構造的欠損パラメトリック汎関数を除外します。一方、見積パラメトリック機能ケース許可しと長く条件ほど、満たされます。 $M$ $\phi(\cdot)$ $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$

同じ参照、提案8.4で与えられているパラメトリック汎関数の推定可能性をチェックする他の同等の条件があります。

このような詳細な背景説明の後、質問に戻りましょう。

A. 自体が理由のために、非推定可能である伴う、と。上記の定義はスカラー関数に与えられていますが、ベクトル値関数に簡単に一般化できます。 $\beta$ $\text{rank}(X) < 3$ $X\beta_1 = X\beta_2$ $\beta_1 \neq \beta_2$

B. 非見積りです。ウィットに、検討と、与えるが、 $\phi_1(\beta) = \theta_1 + \theta_3 = (1, 0, 1)'\beta$ $\beta_1 = (0, 1, 0)'$ $\beta_2 = (1, 1, 1)'$ $X\beta_1 = X\beta_2$ 。 $\phi_1(\beta_1) = 0 + 0 = 0 \neq \phi_1(\beta_2) = 1 + 1 = 2$

C.は、見積りです。ので、自明意味、すなわち、 $\phi_2(\beta) = \theta_1 - \theta_3 = (1, 0, -1)'\beta$ $X\beta_1 = X\beta_2$ $\theta_1^{(1)} - \theta_3^{(1)} = \theta_1^{(2)} - \theta_3^{(2)}$ 。 $\phi_2(\beta_1) = \phi_2(\beta_2)$

D.は、あるにも見積ります。導出に対しても自明です。 $\phi_3(\beta) = \theta_2 = (0, 1, 0)'\beta$ $X\beta_1 = X\beta_2$ $\phi_3(\beta_1) = \phi_3(\beta_2)$

推定可能性が検証された後、定理（命題8.16、同じ参考文献）により、ガウス・マルコフ特性が主張されます。その定理に基づいて、オプションCの2番目の部分は正しくありません。最良線形不偏推定値である以下の定理によって、。 $\phi(\beta)$ $\bar{Y} = (Y_1 + Y_2 + Y_3 + Y_4)/4$

定理。ましょう見積パラメトリック機能、その最良線形不偏推定値である（別名、ガウス-マルコフ推定値）であるの任意の溶液のための正規方程式に。 $\phi(\beta) = p'\beta$ $\phi(\hat{\beta})$ $\hat{\beta}$ $X'X\hat{\beta} = X'Y$

証明は次のようになります。

証明。正規方程式であることを単純計算ショー、簡略化した後、される
$[\begin{matrix} 4 & 0 & - 4 \\ 0 & 2 & 0 \\ - 4 & 0 & 4 \end{matrix}] \hat{β} = [\begin{matrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & - 1 \\ - 1 & - 1 & - 1 & - 1 \end{matrix}] Y,$ $\begin{equation} \begin{bmatrix} 4 & 0 & -4 \\ 0 & 2 & 0 \\ -4 & 0 & 4 \end{bmatrix} \hat{\beta} = \begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix} Y, \end{equation}$ すなわち、。 $[\begin{matrix} ϕ (\hat{β}) \\ {\hat{θ}}_{2} / 2 \\ - ϕ (\hat{β}) \end{matrix}] = [\begin{matrix} \bar{Y} \\ (Y_{2} - Y_{4}) / 4 \\ - \bar{Y} \end{matrix}],$ $\begin{equation} \begin{bmatrix} \phi(\hat{\beta}) \\ \hat{\theta}_2/2 \\ -\phi(\hat{\beta}) \end{bmatrix} = \begin{bmatrix} \bar{Y} \\ (Y_2 - Y_4)/4 \\ -\bar{Y} \end{bmatrix}, \end{equation}$ $\phi(\hat{\beta}) = \bar{Y}$

したがって、オプションDが唯一の正しい答えです。

補遺：推定可能性と識別可能性の関係

私は学校にいたときは、教授の簡潔には、パラメトリック機能のestimabilityことを述べたモデル識別性に対応しています。私はこの主張を当然と思っていました。ただし、同値をより明示的に記述する必要があります。 $\phi$

AC Davisonのモノグラフ統計モデル p.144によると、

定義2.各パラメーターが異なる分布を生成するパラメトリックモデルは、識別可能と呼ばれます。 $\theta$

線形モデルの場合にかかわらず、spherity条件、それは次のように再定式化することができる $(1)$ $\text{Var}(\varepsilon) = \sigma^2 I$

\begin{matrix} (2) & E [Y] = X β, β \in R^{k} . \end{matrix}

$\begin{equation} E[Y] = X\beta, \quad \beta \in \mathbb{R}^k. \tag{2} \end{equation}$

単純なモデルなので、応答ベクトル最初のモーメント形式のみを指定しました。場合、モデル識別可能であるので、意味（ワード元の定義における"分布"は、天然にモデルの下で、 "平均"に減少。）。 $Y$ $\text{rank}(X) = k$ $(2)$ $\beta_1 \neq \beta_2$ $X\beta_1 \neq X\beta_2$ $(2)$

ここで、あり、与えられたパラメトリック汎関数であると仮定すると、定義1と定義2をどのように調整しますか？ $\text{rank}(X) < k$ $\phi(\beta) = p'\beta$

さて、表記と言葉を操作することによって、我々はそれ（「証拠」はかなり簡単です）estimability表示することができますモデルと同等であるそれはパラメータでパラメータ化されたときに識別可能です（設計行列はそれに応じて変化する可能性が高い）。証明する、と仮定すること見積りそうである意味 $\phi(\beta)$ $(2)$ $\phi = \phi(\beta) = p'\beta$ $X$ $\phi(\beta)$ $X\beta_1 = X\beta_2$ 、定義によって、これは、したがってモデルで索引付けするときに識別可能です。逆に、仮定するモデルことが識別可能なようである意味自明であり、。 $p'\beta_1 = p'\beta_2$ $\phi_1 = \phi_2$ $(3)$ $\phi$ $(3)$ $X\beta_1 = X\beta_2$ $\phi_1 = \phi_2$ $\phi_1(\beta) = \phi_2(\beta)$

直観的には、ランクを下げた場合、持つモデルはパラメーターの冗長性（パラメーターが多すぎる）であるため、非冗長の低次元再パラメーター化（線形関数のコレクションで構成される可能性があります）が可能です。そのような新しい表現はいつ可能ですか？キーは推定可能性です。 $X$ $\beta$

上記のステートメントを説明するために、例を再考しましょう。私たちは、パラメトリック汎関数を確認したとされて見積ります。したがって、我々は、モデル書き換えることができる reparametrizedパラメータの点で次のように $\phi_2(\beta) = \theta_1 - \theta_3$ $\phi_3(\beta) = \theta_2$ $(1)$ $(\phi_2, \phi_3)'$

E [Y] = [\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{matrix}] [\begin{matrix} ϕ_{2} \\ ϕ_{3} \end{matrix}] = \tilde{X} γ .

$\begin{equation} E[Y] = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{bmatrix} \begin{bmatrix} \phi_2 \\ \phi_3 \end{bmatrix} = \tilde{X}\gamma. \end{equation}$

$\tilde{X}$ $\gamma$

— han雄
ソース

オプションCの2番目の部分の証明が必要な場合は、回答を補足します。

— Zhanxiong

\frac{1}{4} (Y_{1} + Y_{2} + Y_{3} + Y_{4})

$\dfrac{1}{4}(Y_1+Y_2+Y_3+Y_4)$ is not "best"?

— Stat_prob_001

Oh, I don't know why I thought it is the estimator in C. Actually

(Y_{1} + Y_{2} + Y_{3} + Y_{4}) / 4

$(Y_1 + Y_2 + Y_3 + Y_4)/4$ is the best estimator. Will edit my answer

— Zhanxiong

Apply the definitions.

I will provide details to demonstrate how you can use elementary techniques: you don't need to know any special theorems about estimation, nor will it be necessary to assume anything about the (marginal) distributions of the $Y_i$ . We will need to supply one missing assumption about the moments of their joint distribution.

Definitions

All linear estimates are of the form

t_{λ} (Y) = \sum_{i = 1}^{4} λ_{i} Y_{i}

$t_\lambda(Y) = \sum_{i=1}^4 \lambda_i Y_i$ for constants

λ = (λ_{i})

$\lambda = (\lambda_i)$ .

An estimator of $\theta_1-\theta_3$ is unbiased if and only if its expectation is $\theta_1-\theta_3$ . By linearity of expectation,

\begin{aligned} θ_{1} - θ_{3} & = E [t_{λ} (Y)] = \sum_{i = 1}^{4} λ_{i} E [Y_{i}] \\ = λ_{1} (θ_{1} - θ_{3}) + λ_{2} (θ_{1} + θ_{2} - θ_{3}) + λ_{3} (θ_{1} - θ_{3}) + λ_{4} (θ_{1} - θ_{2} - θ_{3}) \\ = (λ_{1} + λ_{2} + λ_{3} + λ_{4}) (θ_{1} - θ_{3}) + (λ_{2} - λ_{4}) θ_{2} . \end{aligned}

$\eqalign{ \theta_1 - \theta_3 &= E[t_\lambda(Y)] = \sum_{i=1}^4 \lambda_i E[Y_i]\\ & = \lambda_1(\theta_1-\theta_3) + \lambda_2(\theta_1+\theta_2-\theta_3) + \lambda_3(\theta_1-\theta_3) + \lambda_4(\theta_1-\theta_2-\theta_3) \\ &=(\lambda_1+\lambda_2+\lambda_3+\lambda_4)(\theta_1-\theta_3) + (\lambda_2-\lambda_4)\theta_2. }$

Comparing coefficients of the unknown quantities $\theta_i$ reveals

\begin{matrix} (1) & λ_{2} - λ_{4} = 0 and λ_{1} + λ_{2} + λ_{3} + λ_{4} = 1. \end{matrix}

$\lambda_2-\lambda_4=0\text{ and }\lambda_1+\lambda_2+\lambda_3+\lambda_4=1.\tag{1}$

In the context of linear unbiased estimation, "best" always means with least variance. The variance of $t_\lambda$ is

Var (t_{λ}) = \sum_{i = 1}^{4} λ_{i}^{2} Var (Y_{i}) + \sum_{i \neq j}^{4} λ_{i} λ_{j} Cov (Y_{i}, Y_{j}) .

$\operatorname{Var}(t_\lambda) = \sum_{i=1}^4 \lambda_i^2 \operatorname{Var}(Y_i) + \sum_{i\ne j}^4 \lambda_i\lambda_j \operatorname{Cov}(Y_i,Y_j).$

The only way to make progress is to add an assumption about the covariances: most likely, the question intended to stipulate they are all zero. (This does not imply the $Y_i$ are independent. Furthermore, the problem can be solved by making any assumption that stipulates those covariances up to a common multiplicative constant. The solution depends on the covariance structure.)

Since $\operatorname{Var}(Y_i)=\sigma^2,$ we obtain

\begin{matrix} (2) & Var (t_{λ}) = σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) . \end{matrix}

$\operatorname{Var}(t_\lambda) =\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2).\tag{2}$

The problem therefore is to minimize $(2)$ subject to constraints $(1)$ .

Solution

The constraints $(1)$ permit us to express all the $\lambda_i$ in terms of just two linear combinations of them. Let $u=\lambda_1-\lambda_3$ and $v=\lambda_1+\lambda_3$ (which are linearly independent). These determine $\lambda_1$ and $\lambda_3$ while the constraints determine $\lambda_2$ and $\lambda_4$ . All we have to do is minimize $(2)$ , which can be written

σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) = \frac{σ^{2}}{4} (2 u^{2} + (2 v - 1)^{2} + 1) .

$\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2) = \frac{\sigma^2}{4}\left(2u^2 + (2v-1)^2 + 1\right).$

No constraints apply to $(u,v)$ . Assume $\sigma^2 \ne 0$ (so that the variables aren't just constants). Since $u^2$ and $(2v-1)^2$ are smallest only when $u=2v-1=0$ , it is now obvious that the unique solution is

λ = (λ_{1}, λ_{2}, λ_{3}, λ_{4}) = (1 / 4, 1 / 4, 1 / 4, 1 / 4) .

$\lambda = (\lambda_1,\lambda_2,\lambda_3,\lambda_4) = (1/4,1/4,1/4,1/4).$

Option (C) is false because it does not give the best unbiased linear estimator. Option (D), although it doesn't give full information, nevertheless is correct, because

θ_{2} = E [t_{(0, 1 / 2, 0, - 1 / 2)} (Y)]

$\theta_2 = E[t_{(0,1/2,0,-1/2)}(Y)]$

is the expectation of a linear estimator.

It is easy to see that neither (A) nor (B) can be correct, because the space of expectations of linear estimators is generated by $\{\theta_2, \theta_1-\theta_3\}$ and none of $\theta_1,\theta_3,$ or $\theta_1+\theta_3$ are in that space.

Consequently (D) is the unique correct answer.

— whuber
ソース