$$$$

矩法

基本思想

设 $\{X_n\}$ 独立同分布且 $\mathbb{E}(X_n)$ 存在，则其 $r$ 阶原点矩^[1] $\{X_n^r\}$ 独立同分布且 $\mathbb{E}(X_n^r)$ 存在。由辛钦大数定律有

$$\mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}\mathbb{P}(|\frac{1}{n}\sum _{i=1}^n{X}_i^r-\mathbb{E}(X^r)|<\epsilon )=1$$

当样本容量 $n$ 足够大时，${\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i^r$ 在 $\mathbb{E}(X^r)$ 附近的可能性就很大。

步骤

1. 计算总体分布的 $r$ 阶原点矩 $\mathbb{E}(X^r)$，得到含未知参数 $\theta$ 的表达式 $g_r(\theta )$；
2. 计算样本的 $r$ 阶原点矩 ${\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i^r$，得到统计量 $T_r$；
3. 解方程 $g_r(\hat{\theta })=\phantom{0}$$\phantom{0}{T}_r$ 得到估计量 $\hat{\theta }=\phantom{0}$$\phantom{0}h(X_1,\phantom{0}$$\phantom{0}{X}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{X}_n)$。

矩法估计量（矩估计量）$\hat{\theta }=\phantom{0}$$\phantom{0}h(X_1,\phantom{0}$$\phantom{0}{X}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{X}_n)$

矩法产生的估计量，也是一种统计量。

矩法估计值（矩估计值）$\hat{\theta }=\phantom{0}$$\phantom{0}h(x_1,\phantom{0}$$\phantom{0}{x}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{x}_n)$

矩法估计量的估计值。

INFO

若未知参数 $\theta$ 是高维向量，则需取多个不同的 $r$，构造一组方程 $\{g_r=T_r\}$，才能够解出全部的未知参数。

最大似然法

基本思想

让样本的观测值在参数空间中出现概率最大。

步骤

似然函数 $L(x_1,\phantom{0}$$\phantom{0}{x}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{x}_n;\theta )$^[2]，$L(\theta )$

当给定总体中的一个样本观测值 $(x_1,\phantom{0}$$\phantom{0}{x}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{x}_n)$ 时$$L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^n{f}_i(x_i;\theta )$$

• 当总体为离散型随机变量时，$f_i(x;\theta )=\phantom{0}$$\phantom{0}\mathbb{P}(X_i=\phantom{0}$$\phantom{0}x)$；
• 当总体为连续型随机变量时，$f_i(x;\theta )=\phantom{0}$$\phantom{0}{f}_{X_i}(x)$ 为概率密度函数。

对数似然函数 $\ln L(\theta )$

似然函数取对数。将累乘转化为求和，方便计算。$$\ln L(x_1,x_2,\cdots ,x_n;\theta )=\sum _{i=1}^n\ln f_i(x_i;\theta )$$其中 $f_i$ 定义同似然函数。

最大似然估计值 $\hat{\theta }=\phantom{0}$$\phantom{0}\hat{\theta }(x_1,\phantom{0}$$\phantom{0}{x}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{x}_n)$

满足 $L(\hat{\theta })=\phantom{0}$$\phantom{0}\underset{\theta \in \mathrm{\Theta }}{max}L(\theta )$ 的估计值 $\hat{\theta }$。

求解最大似然估计值步骤：

1. 根据总体 $X$ 的分布 $f(x;\theta )$ 写出似然函数 $L(\theta )$；
2. 计算对数似然函数 $\ln L(\theta )$；
3. 求解似然方程 ${\displaystyle \frac{\mathrm{d}\ln L(\hat{\theta })}{\mathrm{d}\hat{\theta }}}=\phantom{0}$$\phantom{0}0$，得到极大值点 $\hat{\theta }$ 为最大似然估计值。

---

1. $r$ 阶原点矩：内部元素的 $r$ 次方的均值或期望。 ↩︎

2. $L(x_1,\phantom{0}$$\phantom{0}{x}_2,\phantom{0}$$\phantom{0}\cdots ,\phantom{0}$$\phantom{0}{x}_n;\theta )$：分号将函数的输入和参数隔开，表示其后的 $\theta$ 不作为函数输入，仅是运算过程中依赖的参数。 ↩︎