概率统计随机过程之经验函数分布

概率统计随机过程之经验函数分布

设$x_1, x_2, \cdots, x_n$是取自总体$X$的样本, 其分布函数为$F(x)$,$F(x)$是未知的. 为了估计分布函数$F(x)=P(X\le x)$, 使用如下统计量 $$F_n(x)=\frac{\#\{i: x_i\leq x\}}{n},$$ 其中$\#A$表示集合$A$中元素的个数, $F_n(x)$称为经验分布函数 (empirical distribution function). 上式中经验分布函数$F_n(x)$的定义体现了用频率近似概率的想法.

如果用$I_A(x)$表示集合$A$的特征函数（示性函数）, 即 $$I_A(x):=\begin{cases} 1,x \in A,\\ 0,x \notin A, \end{cases}$$ 则经验分布函数$F_n(x)$可以改写成 $$F_n(x)=\frac{1}{n}\sum_{i=0}^nI_{[x_i,\infty]}(x).\\ I_{[x_i,\infty]}(x)=\begin{cases} 1,x_i \le x,\\ 0,x_i > x, \end{cases}$$ 将样本$x_1,x_2,⋯,x_n$理解成样本值时, $F_n(x)$是一个分布函数. 设随机变量$W∼F_n(x)$, 则$W$服从离散分布, 在$\{x_1,x_2,⋯,x_n\}$内取值, 如果各$x_i$互不相同则$W$服从$\{x_1,x_2,⋯,x_n\}$上的离散均匀分布$P(W=x_i)=1/n, i=1,2,⋯,n.$如果$\{x_1,x_2,⋯,x_n\}$中有相同的观测值则其相应的取值概率是$1/n$乘以重复次数.

对样本$x_1,x_2,⋯,x_n$从小到大排序得到$x_{(1)}≤x_{(2)}≤⋯≤x_{(n)}$, 称为样本的次序统计量. 如果$x_{(1)}≤x_{(2)}≤⋯≤x_{(n)}$, 易见 $$F_n(x)=\begin{cases} 0, & \textrm{当}\, x< x_{(1)},\\ \dfrac{i}{n}, & \textrm{当}\,x_{(i)}\leq x< x_{(i+1)},\quad i=1,2,\cdots, n-1,\\ 1, & \textrm{当}\, x\geq x_{(n)}. \end{cases}$$ 将样本$x_1,x_2,⋯,x_n$看成随机变量时, $F_n(x)$是样本统计量.

$I_{[x_i,∞)}(x)$是独立同分布的随机变量, 其共同分布为两点分布$b(1,F(x))$. 由Glivenko-Cantelli定理可知, 当$n→∞$时, $$\sup_{x\in\mathbb R}|F_n(x)-F(x)| \xrightarrow[]{\;\;{\rm a.s.}\;\;} 0.$$ 此结果表明$F_n(x)$是$F(x)$的一致强相合估计(uniformly and strongly consistent estimator). 于是当样本容量$n$充分大时, $F_n(x)$能良好地逼近总体分布函数$F(x)$. 这是在统计学中以样本推断总体的依据.

经验分布函数与样本均值的关系

如果随机变量$W∼F_n(x)$, 显然$W$的期望 $$E(W)=\frac{1}{n}\sum_{i=1}^nx_i=\bar x,$$ 即样本均值. 所以样本均值可以理解成服从经验分布的随机变量的数学期望. 样本均值$\bar x$用于估计总体均值$E(X)$, 其本质上是用经验分布函数$F_n(x)$近似总体分布函数$F(x)$. 用经验分布函数$F_n(x)$近似总体分布函数$F(x)$的一个应用是bootstrap方法.

经验分布函数与直方图的关系

直方图 (histogram) 是估计分布密度非常直观简单的方法.

直方图作法

参考文献