极大似然估计
似然函数定义：
设总体X具有概率质量函数p(x;θ)，或概率密度函数f(x;θ)，其中θ未知。设X1,X2,...,Xn为样本，其观测值为x1,x2,xn，则似然函数定义为：
L(θ)=i=1∏np(xi;θ)ori=1∏nf(xi;θ)
极大似然估计定义：
若{x1,x2,x3,...,xn}满足：
L{θ^(x1,...,xn)}=maxθL(θ)
则称θ(x1,...,xn)为θ的极大似然估计值，称对应的统计量θ^(X1,...,Xn)称为θ的极大似然估计量。
直观理解：
极大似然估计就是已知某种已经出现的结果，反推出出现这种结果概率最大的一种中参数方案。
对于极大似然估计的求解：
可令似然函数对于每一个参数θj的偏导为0，得到方程组:
∂θj∂L(θ)=0,j=1,...,k
联立求解可得极大似然估计。
note:
对于指数函数等形式，通常还会采取令l(θ)=log(L(θ))的形式进行求导，解出max值的情况。
定理：
若θ^是θ的极大似然估计，则g(θ^)也是g(θ)的极大似然估计。
例题：
均匀分布：(样本的取值范围含有参数)
设总体X服从均匀分布U(a, b)，其中a, b未知。设X1,X2,...,Xn为样本，试求a,b的极大似然估计。进一步求E(x)的极大似然估计。
解：
均匀分布的密度函数为:
f(x)={b−a1,a<=x<=b0,else
对应的似然函数为：
L(θ)={(b−a)n1,a<=xi<=b0,else
这里对a，b存在范围上的约束：
a^=min{X1,X2,X3,...Xn}b^=max{X1,X2,....,Xn}
故极大似然估计量为：a^=x(1), b^=x(n)，此时区间最小，即L(θ)最大。
估计量的评价准则
无偏性
偏差定义：
设参数θ有估计量θ^=θ^(X1,X2,...,Xn)，则称∣E(θ^)−θ∣称为估计量θ的偏差。
无偏性定义：
若参数θ的估计量θ^满足：
E(θ^)=θ
则称θ^是θ的无偏估计量。
即：是在大量重复实验下，有θ^给出的估计的平均值为θ，而单次给定的样本值中，θ^不一定等于θ.
例题(均匀分布中最值期望的求解)：
设总体X服从均匀分布U(0, θ)，θ > 0是未知参数。样本分别为X1,X2,...,Xn。试分别求θ的矩估计和极大似然估计，并判断各自是否无偏。
解：
首先求矩估计：
由μ1 = E(X) = 2θ，可得样本的θ^=2Xˉ。可以得到：
E(θ^)=2E(Xˉ)=2E(X)=θ
故矩估计无差。
然后求最大似然估计：
U(0, θ)的密度函数为：
f(x;θ)={θ1,0<=x<=θ0,else
得到对应的似然函数为：
L(θ)={θn1,0<=xi<=θ0,else
由于需要保证θ≥max{X1,X2,...,Xn}。所以得到极大似然解为θ=Xn.
对于E(θ^)的计算，首先计算θ^的累积分布函数：
F(n)(x)=P(θ^<=x)=P(max{X1,X2,...,Xn}<=x)=P(X<=x)n=(θx)n
求导后得到对应的概率密度函数为：
f(n)(x)=F(n)′(x)=θnnxn−1
于是：
E(θ^)=∫0θx∗θnnxn−1dx=∫0θθnnxndx=n+1nθ<θ
故极大似然法求得的结果有偏差。
纠偏方法：
若E(θ^) = aθ+b，其中a, b是常数，则aθ^−b为其对应的无偏估计。
有效性
有效性定义：
设θ^1,θ^2为两个无偏估计，如果Var(θ^1)<Var(θ^2)对一切θ均成立，则称θ1比θ2有效。
均方误差
均方误差定义：
设θ^对于参数θ的点估计，方差存在，则称E(θ^−θ)2是估计量θ^的均方误差，记作Mse(θ^)
设θ1^,θ2^是θ的点估计，若Mse(θ1^)<Mse(θ2^)成立，则称在均方误差下，θ1^优于θ2^
均方误差分解式的推导：
Mse(θ^)=E(θ^−θ)2=E(θ^−E(θ^)+E(θ^)−θ)2=E(θ^−E(θ^))2+E(E(θ^)−θ)2+2E[(θ^−E(θ^))(E(θ^)−θ)]=Var(θ^)+{E(θ^)−θ}2
即均方误差 = θ^的方差 + θ^偏差的平方。
相合性定义：
设θ^为θ的估计量。若对于任意θ,当n→∞时，
θ^→θ
则称θn^为θ的相合估计量(一致估计量)