未知参数

未知参数（参数） $\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$

由总体 $X$ 的分布函数 $F_X$ 中未知的常数组成的向量。

参数空间 $\mathrm{\Theta }$

未知参数的可能取值范围。

参数估计

参数估计

用总体 $X$ 的样本估计未知参数的值。

点估计

用一个统计量 $T$ 估计未知参数。

估计量（估计）$\hat{\theta }=T(X_1,X_2,\cdots ,X_n)$

统计量。

估计值（估计）$\hat{\theta }=T(x_1,x_2,\cdots ,x_n)$

估计量的观测值。

区间估计

用两个统计量 $T_1,T_2$ 估计未知参数的范围区间 $(T_1,T_2)$。

估计量的评价标准

均方误差

均方误差 $\mathrm{MSE}(\hat{\theta })$

$$\mathrm{MSE}(\hat{\theta })=\mathbb{E}[(\hat{\theta }-\theta {)}^2]$$

推论

$$\begin{array}{rl}\mathrm{MSE}(\hat{\theta })& =\mathbb{E}[(\hat{\theta }-\theta {)}^2]=\mathbb{E}[(\hat{\theta }-\mathbb{E}(\hat{\theta })+\mathbb{E}(\hat{\theta })-\theta {)}^2]\\ & =\mathbb{E}[(\hat{\theta }-\mathbb{E}(\hat{\theta }){)}^2+2(\hat{\theta }-\mathbb{E}(\hat{\theta }))(\mathbb{E}(\hat{\theta })-\theta )+(\mathbb{E}(\hat{\theta })-\theta {)}^2]\\ & =\mathbb{E}[(\hat{\theta }-\mathbb{E}(\hat{\theta }){)}^2]+2(\mathbb{E}(\hat{\theta })-\theta )\mathbb{E}[\hat{\theta }-\mathbb{E}(\hat{\theta })]+\mathbb{E}[(\mathbb{E}(\hat{\theta })-\theta {)}^2]\\ & =\mathbb{V}(\hat{\theta })+(\mathbb{E}(\hat{\theta })-\theta {)}^2\end{array}$$

TIP

$E(\hat{\theta })$ 和 $\theta$ 都是常数向量，$\hat{\theta }$ 的本质是随机变量向量。

无偏性

偏差

$\mathbb{E}(\hat{\theta })-\theta$。

无偏估计量 $\hat{\theta }$

满足 $\mathbb{E}(\hat{\theta })=\theta$ 的估计量 $\hat{\theta }$。

渐进无偏估计量 $\hat{\theta }$

满足 $\underset{n\to \mathrm{\infty }}{lim}\mathbb{E}(\hat{\theta })=\theta$ 的估计量 $\hat{\theta }$，其中 $n$ 是样本容量。

有效性

有效

设 ${\hat{\theta }}_1,{\hat{\theta }}_2$ 是未知参数 $\theta$ 的两个无偏估计量，若 $\mathbb{V}({\hat{\theta }}_1)<\mathbb{V}({\hat{\theta }}_2)$ 则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 有效。

一致性

一致估计量（相合估计量）$\hat{\theta }$

满足 $\mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P(|{\hat{\theta }}_n-\theta |<\epsilon )=1$ 即 ${\hat{\theta }}_n\stackrel{\mathit{P}}{⟶}\theta$ 的估计量 $\hat{\theta }$。

定理 1

若 $\underset{n\to \mathrm{\infty }}{lim}\mathbb{E}({\hat{\theta }}_n)=\theta$ 且 $\underset{n\to \mathrm{\infty }}{lim}\mathbb{V}({\hat{\theta }}_n)=0$，则 ${\hat{\theta }}_n$ 是 $\theta$ 的一致估计量。

定理 2

若 ${\hat{\theta }}_n$ 是 $\theta$ 的一致估计量，$g(x)$ 在 $x=\theta$ 处连续，则 $g(\hat{\theta })$ 是 $g(\theta )$ 的一致估计量。