# 6.1简单随机样本

## 阅读入口

* [简单随机样本](/knowledge/maths/statistics/sample-statistic/)
* [统计量与样本特征](/knowledge/maths/statistics/statistics/)
* [经验分布函数](/knowledge/maths/statistics/empirical-distribution/)
* [次序统计量](/knowledge/maths/statistics/order-statistics/)
* [抽样分布](/knowledge/maths/statistics/sampling-distributions/)
* [分布函数](/knowledge/maths/probability/distribution-function/)
* [数学期望](/knowledge/maths/probability/expectation/)

## 总体与简单随机样本

**总体**是研究对象的某个数量特征，用一个随机变量 $X$ 的分布描述。总体的分布通常未知，但假定它有确定的分布函数 $F$，并记其均值与方差为 $\mu$ 与 $\sigma^2$（方差在本页记作 $D(X)$，有的书写作 $\operatorname{Var}(X)$）。

**简单随机样本**（简称样本）是一组随机变量 $X_1,X_2,\ldots,X_n$，满足

1. $X_1,X_2,\ldots,X_n$ 相互独立；
2. 每个 $X_i$ 都与总体 $X$ 同分布。

$n$ 称为样本容量。两条条件都不能省：同分布保证每个 $X_i$ 携带的是关于同一个总体的信息，所以 $E(X_i)=\mu$、$D(X_i)=\sigma^2$；独立性保证联合分布等于各边缘分布之积，当总体分布函数为 $F$ 时

$$
F_{X_1,\ldots,X_n}(x_1,\ldots,x_n)=\prod_{i=1}^nF(x_i).
$$

试验完成后得到的具体数值 $x_1,\ldots,x_n$ 称为**样本观测值**。样本是随机变量，观测值是数：抽样前 $\bar X$ 与 $S^2$ 是随机变量，可以求分布、求期望；抽样后 $\bar x$ 与 $s^2$ 是确定的数，是估计值。凡求分布、求期望都用大写记号，凡由数据算出的估计值都用小写记号。

> [!WARNING]
> **不放回抽样不满足独立性**
>
> 有限总体的不放回抽样中，各次抽到的结果彼此影响，$X_1,\ldots,X_n$ 不独立，未经说明不能直接套用要求独立性的公式。总体很大、样本容量相对很小时，常把不放回抽样近似当作独立样本处理，这是一个需要写明的近似。

[来源：简单随机样本](/knowledge/maths/statistics/sample-statistic/#definition)

总体的 $\mu$ 与 $\sigma^2$ 在这里定下记号，6.2的抽样分布与第7章的估计都沿用它们；样本一侧的量一律带下标或加横线。

## 常用样本特征

**统计量**是样本的函数

$$
T=T(X_1,\ldots,X_n),
$$

并且 $T$ 的表达式中不含任何未知的总体参数。$\bar X$、$\sum_{i=1}^nX_i^2$、$\max_iX_i$ 都是统计量；若 $\mu$ 未知，则 $\bar X-\mu$ 不是统计量，因为它无法只由样本算出数值。

统计量的分布称为**抽样分布**，它是统计推断的基础，具体结论见[抽样分布](/knowledge/maths/statistics/sampling-distributions/)。

> [!NOTE]
> **枢轴量与统计量的区别**
>
> 用于区间估计的**枢轴量**允许含有未知参数，但它的分布不能依赖这些未知参数。正态样本的 $(\bar X-\mu)/(S/\sqrt n)$ 含未知参数 $\mu$，但服从 $t(n-1)$，与 $\mu$、$\sigma^2$ 的取值无关，所以它是枢轴量而不是统计量。

[来源：统计量与样本特征](/knowledge/maths/statistics/statistics/#definition)

### 常用样本特征

样本均值与样本方差分别为

$$
\bar X=\frac1n\sum_{i=1}^nX_i,\qquad
S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2,\qquad n\ge2.
$$

样本方差另有一个只用原始平方和的算法：

$$
S^2=\frac{\sum_{i=1}^nX_i^2-n\bar X^2}{n-1}.
$$

样本的 $k$ 阶原点矩与 $k$ 阶中心矩分别为

$$
A_k=\frac1n\sum_{i=1}^nX_i^k,\qquad
B_k=\frac1n\sum_{i=1}^n(X_i-\bar X)^k.
$$

> [!CAUTION]
> **$B_2$ 与 $S^2$ 的分母不同**
>
> $B_2$ 的分母是 $n$，$S^2$ 的分母是 $n-1$，二者相差因子 $(n-1)/n$，即 $B_2=\dfrac{n-1}{n}S^2$。手写答案时不要顺手把 $B_2$ 的分母改成 $n-1$，它就不再是二阶中心矩了。

### 样本均值与方差的期望

设总体均值与方差分别为 $\mu$ 与 $\sigma^2$，样本为简单随机样本，则

$$
E(\bar X)=\mu,\qquad
D(\bar X)=\frac{\sigma^2}{n},\qquad
E(S^2)=\sigma^2.
$$

三式都只要求总体的均值与方差存在，即 $E|X|<\infty$ 且 $D(X)<\infty$，都不要求总体服从正态分布。

**证明**

**样本均值**

由同分布，$E(X_i)=\mu$，再由期望的线性性质，

$$
E(\bar X)=\frac1n\sum_{i=1}^nE(X_i)=\frac1n\cdot n\mu=\mu.
$$

由独立性，和的方差等于方差之和，

$$
D(\bar X)=\frac1{n^2}\sum_{i=1}^nD(X_i)=\frac1{n^2}\cdot n\sigma^2=\frac{\sigma^2}{n}.
$$

这里用到独立性；$D(\bar X)=\sigma^2/n$ 是样本容量增大后均值更稳定的定量表述。

**样本方差**

先展开离差平方和。把 $X_i-\bar X$ 写成 $(X_i-\mu)-(\bar X-\mu)$，并利用 $\sum_i(X_i-\mu)=n(\bar X-\mu)$ 合并交叉项，得

$$
\sum_{i=1}^n(X_i-\bar X)^2
=\sum_{i=1}^n(X_i-\mu)^2-n(\bar X-\mu)^2.
$$

两边取期望：由同分布，$E\left[\sum_i(X_i-\mu)^2\right]=n\sigma^2$；由上面已证的 $E(\bar X)=\mu$ 与 $D(\bar X)=\sigma^2/n$，$E\left[(\bar X-\mu)^2\right]=\sigma^2/n$。于是

$$
E\left[\sum_{i=1}^n(X_i-\bar X)^2\right]=n\sigma^2-n\cdot\frac{\sigma^2}{n}=(n-1)\sigma^2,
$$

除以 $n-1$ 得 $E(S^2)=\sigma^2$。

分母取 $n-1$ 而不是 $n$，正是为了让 $S^2$ 的期望恰好等于 $\sigma^2$；若用 $B_2$，则

$$
E(B_2)=\frac{n-1}{n}\sigma^2,
$$

系统性地偏小。

> [!IMPORTANT]
> **无偏的是 $S^2$，不是 $S$**
>
> $E(S^2)=\sigma^2$ 并不推出 $E(S)=\sigma$。开方不是线性运算，通常 $E(S)<\sigma$，即样本标准差是总体标准差的有偏估计。看到“标准差的无偏估计”时不能默认是 $S$。

[来源：统计量与样本特征](/knowledge/maths/statistics/statistics/#properties)

这一段同时给出定义式与只用平方和的计算式，手算题用后者更快，也能少一次先求均值。

## 无偏性

参见上面的样本特征与期望。

无偏性的计算只走到期望这一步，正态样本下统计量的分布见6.2；练习重点放在 $E(S^2)$。

## 经验分布函数与次序统计量

设 $X_1,\ldots,X_n$ 为样本，定义

$$
F_n(x)=\frac1n\sum_{i=1}^nI_{\{X_i\le x\}},\qquad -\infty<x<+\infty,
$$

其中 $I_{\{X_i\le x\}}$ 在 $X_i\le x$ 时取 $1$，否则取 $0$。$F_n(x)$ 表示样本中不超过 $x$ 的观测值所占的比例，称为**经验分布函数**。

它的性质：

1. 只取 $0,\frac1n,\frac2n,\ldots,1$ 这些值；
2. 是右连续的阶梯函数，在每个观测值处跳跃，跳跃高度等于该值重复出现的次数乘以 $\frac1n$；
3. 固定 $x$ 时，$nF_n(x)$ 是 $n$ 次独立试验中事件 $\{X\le x\}$ 发生的次数，所以 $nF_n(x)\sim B\bigl(n,F(x)\bigr)$。

由第3条立得

$$
E[F_n(x)]=F(x),\qquad
D[F_n(x)]=\frac{F(x)[1-F(x)]}{n}.
$$

再由大数定律（依概率收敛指：对任意 $\varepsilon>0$，有 $P\{|Y_n-a|\ge\varepsilon\}\to0$，记作 $Y_n\xrightarrow{P}a$），对每个固定的 $x$，

$$
F_n(x)\xrightarrow{P}F(x).
$$

也就是说，样本量增大时，样本中不超过 $x$ 的比例依概率接近总体的概率 $F(x)$。这是用样本来近似总体分布的依据。

[来源：经验分布函数](/knowledge/maths/statistics/empirical-distribution/#definition)

把样本按从小到大重新排列，记

$$
X_{(1)}\le X_{(2)}\le\cdots\le X_{(n)}.
$$

$X_{(k)}$ 称为第 $k$ 个**次序统计量**。其中 $X_{(1)}=\min_iX_i$ 是样本最小值，$X_{(n)}=\max_iX_i$ 是样本最大值，样本中位数也是由次序统计量定义的。

设总体是连续型，分布函数为 $F$，密度为 $f$，则 $X_{(k)}$ 的密度为

$$
f_{X_{(k)}}(x)=\frac{n!}{(k-1)!(n-k)!}\bigl[F(x)\bigr]^{k-1}\bigl[1-F(x)\bigr]^{n-k}f(x).
$$

**证明**

考察 $X_{(k)}$ 落在小区间 $(x,x+\mathrm dx]$ 内的概率。要使第 $k$ 小的观测值落在这个区间里，必须做到三件事：

* 恰有一个观测值落在 $(x,x+\mathrm dx]$，其概率为 $f(x)\,\mathrm dx$；
* 有 $k-1$ 个观测值落在 $x$ 以下，每个的概率为 $F(x)$；
* 其余 $n-k$ 个观测值落在 $x+\mathrm dx$ 以上，每个的概率为 $1-F(x)$。

样本独立，所以可以把这些概率直接相乘，再乘上把 $n$ 个观测值分配到三类位置的分法数 $\dfrac{n!}{1!\,(k-1)!\,(n-k)!}$，得到

$$
P\{x<X_{(k)}\le x+\mathrm dx\}
=\frac{n!}{(k-1)!(n-k)!}\bigl[F(x)\bigr]^{k-1}\bigl[1-F(x)\bigr]^{n-k}f(x)\,\mathrm dx.
$$

两边除以 $\mathrm dx$ 即得密度。

> [!WARNING]
> **次序统计量一般不独立**
>
> 原样本 $X_1,\ldots,X_n$ 独立，但排序后的 $X_{(1)},\ldots,X_{(n)}$ 不独立。直观上，知道最小的观测值偏大，其余观测值只会更大。因此对次序统计量不能沿用“独立变量和的方差等于方差之和”这类结论。

[来源：次序统计量](/knowledge/maths/statistics/order-statistics/#definition)

## 学习安排

教材把总体、样本与统计量放在统计部分的开头，因为后面的参数估计与假设检验都以“样本是i.i.d. 的”为前提。本节内部的顺序是：先定义总体与简单随机样本，再把统计量与常用样本特征放在一起，最后补经验分布函数与次序统计量。

这个顺序对应实际用法：估计量由样本特征构造，检验用的拒绝域由统计量的分布决定。复习时按“总体服从什么分布、样本满足哪两条、哪个量能只由样本算出来”这条线走，比按小节背公式更省时间。

经验分布函数与次序统计量在考试中多为概念题，读懂定义和两条易错结论即可；样本均值与样本方差的分布要到[抽样分布](/knowledge/maths/statistics/sampling-distributions/)才真正展开，本节只要求会算、会判断是否无偏。

## 课程约定

* 方差统一记作 $D(X)$；同一份答案里保持一种记号。
* 样本方差 $S^2$ 的分母是 $n-1$，样本 $k$ 阶中心矩 $B_k$ 的分母是 $n$。教材在本节同时使用这两套分母，做题时看题目问的是哪一个。
* 统计量定义为不含未知参数的样本函数；枢轴量允许含未知参数，要求它的分布不含这些参数。
* 抽样前后用两套记号：抽样前写 $X_i,\bar X,S^2$，抽样后写 $x_i,\bar x,s^2$。抄题和写答案时保持这一区分，不要中途换记号。
* 题目没有特别声明时，按简单随机样本处理。

## 重点

* 简单随机样本的两条条件缺一不可：独立保证可以把概率相乘、把方差相加，同分布保证每个 $X_i$ 的期望与方差都是 $\mu$ 与 $\sigma^2$。
* $E(S^2)=\sigma^2$ 只要求样本i.i.d. 且方差有限；卡方结论还需要总体服从正态分布。
* 判断一个表达式是不是统计量，只看它是否含未知参数，不看它复杂不复杂。

> [!WARNING]
> **两处容易混的结论**
>
> $S^2$ 是 $\sigma^2$ 的无偏估计，但这不推出 $S$ 是 $\sigma$ 的无偏估计；开方不是线性运算，通常 $E(S)<\sigma$。
>
> 原样本相互独立，但排序得到的次序统计量一般**不独立**，不能对它们使用“独立变量方差相加”之类的结论。

## 易错点

* 把 $\bar X-\mu$ 当成统计量：$\mu$ 未知时它算不出数值。
* 把 $B_2$ 的分母写成 $n-1$，或把 $S^2$ 的分母写成 $n$；两者相差因子 $(n-1)/n$。
* 用不放回抽样的数据直接套独立样本的方差公式。
* 认为经验分布函数连续：它在每个观测值处跳跃，跳跃高度为该值出现次数除以 $n$。
* 只记住 $X_{(1)}$ 是最小值、$X_{(n)}$ 是最大值，却不知道第 $k$ 个次序统计量的密度长什么样；密度公式的结构是“一个落在区间内、$k-1$ 个在左、$n-k$ 个在右”。

## 复习要点

拿到一组数据后的固定顺序：先算 $\bar x$，再算离差平方和，然后按题目要求分别除以 $n-1$ 或 $n$，最后核对 $B_2=\frac{n-1}{n}s^2$ 是否成立。这个核对能立刻发现分母用错。

曾经把 $S^2$ 无偏当成 $S$ 也无偏，在估计标准差的题目里直接写 $E(S)=\sigma$。现在改成先写出 $E(S^2)$，再判断题目问的是平方还是标准差。

判断“是不是统计量”时先划掉含 $\mu$、$\sigma$ 的项，剩下的再逐个确认是否只用到样本。