01 大数定律：频率为什么稳定
大数定律讨论的是样本均值与期望之间的关系。若随机变量 X₁…Xₙ 独立同分布且期望 μ 存在，则样本均值会依概率收敛到 μ。它回答的不是“下一次会怎样”，而是“长期平均会怎样”。
X̄ₙ = (X₁ + … + Xₙ) / n → μ（n → ∞）以掷骰子为例，理论期望是 3.5。单次投掷仍然是 1–6 之间的随机值，但随着次数增加，累计均值围绕 3.5 的波动会逐渐收窄。收窄的是均值的波动，不是单次结果的波动。
常见误区
- 赌徒谬误：连续出现大点，并不意味着下一次更可能出现小点；独立试验没有记忆。
- 样本均值并不保证单调靠近期望，它只描述极限行为，中间仍可能来回摆动。
- 大数定律不能替代对分布形状的判断；均值的稳定性与单次风险是两件事。
在大数定律实验中，把投掷速度调快，观察均值曲线如何围绕 3.5 收窄。
02 中心极限定理：均值为何变正态
中心极限定理说明，在独立同分布且方差有限的条件下，样本均值的标准化形式会趋近标准正态分布。原始分布是否对称并不重要：偏态会在样本量增大后被平均掉。
√n · (X̄ₙ − μ) / σ ⇒ N(0, 1)正态近似的标准差是 σ/√n。样本量变为 4 倍，标准差减半；样本量变为 100 倍，标准差变为原来的十分之一。所谓“n 足够大”没有统一阈值：原始分布越偏、尾部越重，需要的 n 就越大。
常见误区
- 中心极限定理不是说原始数据会变成正态分布，而是说样本均值的分布趋近正态。
- “n 大于 30 就万事大吉”不是定理内容；阈值取决于偏度、峰度和尾部行为。
- 独立性是前提。强相关样本的均值分布可能明显偏离正态近似。
在中心极限定理实验中，把样本量 n 从 1 调到 30，观察直方图如何从右偏逐步变得对称。
03 蒙特卡洛方法：用随机性求解
蒙特卡洛方法用随机样本的统计量近似难以解析计算的量。以 π 为例：在单位正方形内均匀投点，落入四分之一圆内的概率是 π/4，因此 4 乘以圆内点的比例，就是 π 的一个估计。
π̂ = 4 · N内 / N，误差 ~ O(1/√N)误差按 1/√N 收敛：样本量扩大 100 倍，误差大约缩小 10 倍。想再提高一位小数精度，样本量通常要增加约 100 倍。这是蒙特卡洛方法朴素的代价，也是方差缩减技术存在的原因。
常见误区
- 样本更多不代表这一次结果一定更准；它意味着误差分布收窄，但单次实现仍有波动。
- 伪随机数生成器的质量会影响结果。低质量生成器的结构偏差无法靠增加样本消除。
- 重复使用同一批样本做多次估计时，误差不再独立，直接套用 1/√N 会低估不确定性。
在蒙特卡洛实验中，观察相对误差如何随样本数增加而下降，并在暂停后重新投点比较波动。
04 随机游走：扩散的尺度
随机游走每一步独立地加 +1 或 −1。单条路径无法预测，但整体统计性质很稳定：均值为 0，方差随步数线性增长，标准差按 √t 增长。
E[Sₜ] = 0，Var(Sₜ) = t，σ(Sₜ) = √t这就是“扩散”的来源。t = 100 时标准差是 10，t = 400 时是 20：步数变为 4 倍，波动幅度只变为 2 倍。路径的典型尺度是 √t，而不是 t。若每一步带有非零漂移，均值会随时间线性移动，波动结构则叠加在漂移之上。
常见误区
- 波动幅度不会按时间线性增长；方差线性增长，标准差按平方根增长。
- 一维对称随机游走最终回到原点的概率为 1，但期望回归时间并不是一个有限值。
- 加入漂移后，“长期一定回归”的结论不再成立，需要重新分析。
在随机游走实验中，调大路径数与步数，观察末端标准差如何贴近理论值 √T。
05 生日悖论：碰撞比直觉更早发生
在 n 个人中，至少有一对生日相同的概率远高于多数人的直觉。原因不是拿 n 与 365 直接比较，而是要看有多少个“人对”：n 个人可以组成 C(n, 2) 对，n = 23 时已有 253 对，每一对都有 1/365 的碰撞机会。
p(n) = 1 − 365! / ((365 − n)! · 365n)精确值在 n = 23 时约为 50.7%，n = 41 时约 90%，n = 57 时约 99%。用近似式 1 − exp(−n(n−1) / 730) 也能很快看出量级：人数只需达到 √365 附近（二十多人），概率就会过半。
常见误区
- 这里的概率不是“有人和我同生日”。固定一个人后，其余 n − 1 人都不同的概率是 (364/365)^(n−1)，n = 23 时只有约 6%。
- 23/365 也不是答案；碰撞发生在任意两人之间，配对数按 n 的平方增长。
- 生日均匀且独立只是模型假设。真实出生日期存在季节性集中，反而会让碰撞概率略高于理论值。
在生日悖论实验中拖动人数滑块，对比实测概率与理论曲线在 23 人附近的位置。
06 高尔顿板：二项分布的成形
小球每经过一层钉子，都以 1/2 的概率向左或向右。走完 R 层后，落点等于“向右的次数”，因此服从二项分布 B(R, 1/2)。R = 10 时，最可能的落点是 5 次，标准差约 1.58。
P(k) = C(R, k) / 2R，E = R/2，Var = R/4这个装置同时也是中心极限定理的实体演示：层数越多，直方图轮廓越接近正态曲线。R = 10 时的钟形还比较粗糙，把层数加到几十层，轮廓才会明显平滑。
常见误区
- 钟形不是“随机就会正态”。它来自独立同分布求和的累积效应；单次落点是两点分布，并不对称。
- 每层左右概率不相等时，分布会整体偏向一侧，中心不再是 R/2。
- 小球之间若相互推挤、钉子排列不均，独立性被破坏，实测分布会偏离二项分布。
在高尔顿板实验中增加累计落球数，比较实测标准差与理论值 √(R/4)。
07 泊松到达：计数与间隔
在固定时间窗口内，若事件以恒定速率 λ 独立发生，窗口内的到达次数服从泊松分布，均值与方差都等于 λ。与之配套的是间隔时间：相邻两次到达的间隔服从均值为 1/λ 的指数分布。
P(N = k) = e−λ · λk / k!，E[N] = Var[N] = λ指数间隔具有无记忆性：已经等了多久，不影响接下来还要等多久。这会让到达显得“成簇”：短间隔接连出现，也会出现明显长于均值的空档，因为指数分布右偏。
常见误区
- 均值 λ 次不等于“每隔 1/λ 一定来一次”，相邻到达的间隔本身是随机变量。
- “再等一会儿就该来了”是赌徒谬误的变体；无记忆性意味着过去的等待不改变未来的分布。
- 速率不恒定时（高峰与低谷），计数通常不再是泊松分布。可以用方差与均值的比值粗略判断：明显大于 1 说明计数有聚集。
在泊松到达实验中调整 λ，观察计数直方图与理论 pmf 的重合程度，以及方差与均值的比值。
08 置信区间：覆盖率是长期性质
置信区间的含义是重复抽样的长期频率：如果每次都按同样规则构造区间，约 95% 的区间会覆盖真实参数。参数本身固定，随机的是区间；因此不能把“95%”理解成“这个区间有 95% 的概率包含真值”。
X̄ ± z1−α/2 · s / √n（95% 取 1.96，99% 取 2.576）半宽与 √n 成反比：样本量扩大 4 倍，区间缩窄一半。置信水平提高会让区间变宽，这是精度与把握之间的取舍。样本很小时，用 t 分布代替正态分位数更稳妥。
常见误区
- “95% 置信区间包含真值”混淆了随机区间与固定参数；贝叶斯可信区间才有“概率包含”的表述。
- 区间变宽不代表更可靠，只代表置信水平更高、精度更低。
- 覆盖率是名义水平，不是每次结果。偏态总体、小样本或样本相关都会让实际覆盖率低于名义值。
在置信区间实验中反复重新抽样，观察灰色（未覆盖）区间如何以固定比例出现。
09 模拟可靠性：别只看一次结果
一次模拟的结果只是随机变量的一次实现。评估模拟结果时，应同时报告估计量的标准误，并用独立重复实验检查波动，而不是挑选一次“看起来很好”的运行。
SE = s / √M（M 次独立重复）固定随机种子可以让结果可复现，但可复现不等于正确。更稳妥的做法是：说明样本量、随机数生成方式与运行环境，报告多次独立重复的均值与区间，并对边界情况单独测试。
常见误区
- 固定种子只保证可复现，不保证模型或估计量没有偏差。
- 增加样本量能降低随机误差，但无法消除系统性偏差。
- 用单次结果比较两个方案并不可靠；需要重复实验与区间估计。
回到方法实验，用暂停、重置与重新抽样，感受随机波动与参数变化之间的区别。