置信区间

置信区间的定义

CI的定义： 设总体X的分布函数为F(x; $\theta$)，其中$\theta$未知。对给定的$0 < \alpha <1$，如果统计量L = L($X_{1},...,X_{n}$)与$U = U(X_{1},...,X_{n})$满足：

则称(L, U)为$\theta$的置信水平为$(1 - \alpha)$的置信区间

NOTE：

• $\alpha$的取值应较小
• $\theta$为未知值，但L与U需为统计量。

单侧置信上/下限： 若统计量L = $L(X_{1},X_{2},....,X_{n})$满足：

则称L为$\theta$的置信水平为($1 - \alpha$)的单侧置信上限 NOTE: 也可以看做落在区间($-\infty, L$)上。

精确度： 置信区间(L, U)的平均长度E(U - L)可表示区间的精确度：E(U - L)越小，区间的精确度越高。

枢轴量法

如何得到未知参数$\theta$满足给定置信度$1 - \alpha$的置信区间？ 枢轴量法：

• 找到一个随机变量G，是未知参数$\theta$和样本$X_{1}, X_{2},X_{3},...,X_{n}$的函数，并且分布已知(不依赖于参数$\theta$)
• 找到a < b，使得P(a < G < b) = $1 - \alpha$
• 从a < G < b中解得L < $\theta$ < U

枢轴量定义: 设总体X有概率密度函数f(x;$\theta$)，其中$\theta$为待估的未知参数。设$X_{1},X_{2},...,X_{n}$为样本，则随机变量：

的分布已知，则称G为枢轴量。

下面以几个例子进行置信区间的求解：

• 正态分布： 假设总体X$\sim N(\mu, \sigma^{2})$，其中$\mu, \sigma$均未知，求$\mu$的置信水平为1 - $\alpha$的双侧置信区间： 解： 对于正态总体，$\mu$的极大似然估计为$\bar{X}$，且有$\frac{\bar{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1)$，但由于$\sigma$未知，故不可做枢轴量。 根据学生定理可以得到：

故目标为确定a，b使得：

由此得到$\mu$的置信区间为：

此时的区间长度为:$(b-a)\frac{S}{\sqrt{n}}$，需要使得区间长度最小。推导可得对于正态这种对称的分布，b = a时区间长度最小。 故当b = -a = $t_{\alpha/2}(n-1)$时，置信区间为：

• 指数分布：
  假设总体X $\sim EXP(\theta)$，其中$\theta$未知。样本为$X_{1}, X_{2},...,X_{n}$，求$\theta$的置信水平为$1 - \alpha$的双侧置信区间。 由指数分布的性质可得，$\theta x \sim Exp(1)$.因此 G = $n\theta \bar{X} = \sum\limits_{i=1}^{n}(\theta X_{i}) \sim T(n, 1)$为枢轴量。 记$T(n, 1)$分布的上-$\alpha$分位数为$t_{\alpha}(n, 1)$，选择a，b满足P(G <= a) = P(G >= b) = $\alpha / 2$，有a = $T_{1 - \alpha / 2}(n, 1)$, b = $T_{\alpha / 2}(n, 1)$，得到置信区间为：

正态总体的区间估计

单个正态总体的均值

设总体X $\sim N(\mu, \sigma^{2})$，样本为$X_{1},X_{2},...,X_{n}$。用$\bar{X}和S^{2}$来表示样本均值和样本方差。取置信水平为1 - $\alpha$，求$\mu$的置信区间。 case1：$\sigma^{2} = \sigma_{0}^{2}$已知： 此时可以选取枢轴量为：

由于N(0, 1)关于0对称，故区间最短的a,b满足b = -a = $z_{\alpha / 2}$.所以得到置信区间为：

case2：$\sigma^{2}$未知 此时可以使用$S^{2}$代替$\sigma^{2}$，得到枢轴量：

同理可以得到双侧置信区间对称

单个正态总体的方差

设总体$X \sim N(\mu, \sigma^{2})$，其中$\mu, \sigma$未知，样本为$X_{1}, X_{2}, ...,X_{n}$。用$\bar{X}和S^{2}$分别表示样本均值和样本方差。取置信水平$1 - \alpha$，求$\sigma^{2}$的置信区间。 解： 由于$S^{2}$为$\sigma^{2}$的一个无偏估计。根据学生定理，选取枢纽量：

由于$x^{2}(n-1)$不是对称分布的，可以选择a，b使得： P(G <= a) = $\alpha / 2$, P(G >= b) = $\alpha / 2$ 故可以使得a为$x^{2}(n-1)$分布的上(1 - $\alpha / 2$)分位数，b为$x^{2}(n-1)$分布的上$\alpha / 2$分位数。 故得到置信区间为：

两个正态总体

设样本$X_{1},...,X_{n_{1}}$与$Y_{1},...,Y_{n_{2}}$，分别来自总体$X \sim N(\mu_{1}, \sigma_{1}^{2})$与$Y \sim N(\mu_{2}, \sigma_{2}^{2})$，且他们相互独立。样本均值为$\bar{X}$与$\bar{Y}$，样本方差为$S_{1}^{2}$与$S_{2}^{2}$。置信水平为$1 - \alpha$。 Q1：若$\mu_{1} - \mu_{2}$的置信区间，假设$\sigma_{1}^{2}，\sigma_{2}^{2}$已知： 由题可知，$\mu_{1} - \mu_{2}$的一个估计量为$\bar{X} - \bar{Y}$，故将其标准化后得到枢轴量：

Q2：求$\mu_{1} - \mu_{2}$的置信区间，其中$\sigma_{1} = \sigma_{2} = \sigma$未知 采用学生定理得到枢轴量为：

Q3：求$\sigma_{1}^{2} / \sigma_{2}^{2}$的置信区间，假设$\mu_{1},\mu_{2}$未知 由题可知$S_{1}^{2} / S_{2}^{2}$是其的一个估计量，且有：

故将其作为枢轴量即可。