6.1简单随机样本

总体是研究对象的某个数量特征，用一个随机变量 $X$ 的分布描述。总体的分布通常未知，但假定它有确定的分布函数 $F$，并记其均值与方差为 $\mu$ 与 $\sigma^2$（方差在本页记作 $D(X)$，有的书写作 $\operatorname{Var}(X)$）。

简单随机样本（简称样本）是一组随机变量 $X_1,X_2,\ldots,X_n$，满足

1. $X_1,X_2,\ldots,X_n$ 相互独立；
2. 每个 $X_i$ 都与总体 $X$ 同分布。

$n$ 称为样本容量。两条条件都不能省：同分布保证每个 $X_i$ 携带的是关于同一个总体的信息，所以 $E(X_i)=\mu$、$D(X_i)=\sigma^2$；独立性保证联合分布等于各边缘分布之积，当总体分布函数为 $F$ 时

试验完成后得到的具体数值 $x_1,\ldots,x_n$ 称为样本观测值。样本是随机变量，观测值是数：抽样前 $\bar X$ 与 $S^2$ 是随机变量，可以求分布、求期望；抽样后 $\bar x$ 与 $s^2$ 是确定的数，是估计值。凡求分布、求期望都用大写记号，凡由数据算出的估计值都用小写记号。

统计量是样本的函数

并且 $T$ 的表达式中不含任何未知的总体参数。$\bar X$、$\sum_{i=1}^nX_i^2$、$\max_iX_i$ 都是统计量；若 $\mu$ 未知，则 $\bar X-\mu$ 不是统计量，因为它无法只由样本算出数值。

统计量的分布称为抽样分布，它是统计推断的基础，具体结论见抽样分布。

样本均值与样本方差分别为

样本方差另有一个只用原始平方和的算法：

样本的 $k$ 阶原点矩与 $k$ 阶中心矩分别为

设总体均值与方差分别为 $\mu$ 与 $\sigma^2$，样本为简单随机样本，则

三式都只要求总体的均值与方差存在，即 $E|X|<\infty$ 且 $D(X)<\infty$，都不要求总体服从正态分布。

分母取 $n-1$ 而不是 $n$，正是为了让 $S^2$ 的期望恰好等于 $\sigma^2$；若用 $B_2$，则

系统性地偏小。

设 $X_1,\ldots,X_n$ 为样本，定义

其中 $I_{\{X_i\le x\}}$ 在 $X_i\le x$ 时取 $1$，否则取 $0$。$F_n(x)$ 表示样本中不超过 $x$ 的观测值所占的比例，称为经验分布函数。

它的性质：

1. 只取 $0,\frac1n,\frac2n,\ldots,1$ 这些值；
2. 是右连续的阶梯函数，在每个观测值处跳跃，跳跃高度等于该值重复出现的次数乘以 $\frac1n$；
3. 固定 $x$ 时，$nF_n(x)$ 是 $n$ 次独立试验中事件 $\{X\le x\}$ 发生的次数，所以 $nF_n(x)\sim B\bigl(n,F(x)\bigr)$。

由第3条立得

再由大数定律（依概率收敛指：对任意 $\varepsilon>0$，有 $P\{|Y_n-a|\ge\varepsilon\}\to0$，记作 $Y_n\xrightarrow{P}a$），对每个固定的 $x$，

也就是说，样本量增大时，样本中不超过 $x$ 的比例依概率接近总体的概率 $F(x)$。这是用样本来近似总体分布的依据。

把样本按从小到大重新排列，记

$X_{(k)}$ 称为第 $k$ 个次序统计量。其中 $X_{(1)}=\min_iX_i$ 是样本最小值，$X_{(n)}=\max_iX_i$ 是样本最大值，样本中位数也是由次序统计量定义的。

设总体是连续型，分布函数为 $F$，密度为 $f$，则 $X_{(k)}$ 的密度为