应用概率统计及其算法

【实例简介】应用概率统计及其算法

概率论基础教材

【实例截图】

【核心代码】

目录
第一部分 概率论基础 1
第一章 随机事件与概率论的公理化 . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1 古典概率模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.1.1 排列与组合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.1.2 几何概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.1.3* Monte Carlo 方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.2 概率论的公理化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.2.1 σ 域与样本空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.2.2 Kolmogorov 公理体系 . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.2.3 概率的一些基本性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.3 条件概率与随机事件的独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.3.1 条件概率及其性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
1.3.2 全概率公式与 Bayes 公式 . . . . . . . . . . . . . . . . . . . . . . . 61
1.3.3 随机事件的独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
1.3.4* 条件独立性及其性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
1.4 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
第二章 随机变量及其数字特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.1 随机变量及其基本性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
2.1.1 随机变量的分布与分布函数 . . . . . . . . . . . . . . . . . . . . . 86
2.1.2 离散型与连续型随机变量 . . . . . . . . . . . . . . . . . . . . . . . 90
viii 目录
2.1.3 随机变量的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
2.2 随机向量及其基本性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
2.2.1 边缘分布与条件分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
2.2.2 随机变量间的独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2.2.3 随机向量的函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
2.3 随机变量的数字特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
2.3.1 期望与方差的定义与基本性质 . . . . . . . . . . . . . . . . . . . 112
2.3.2 Chebyshev 不等式和 Kolmogorov 不等式. . . . . . . . . . . 121
2.3.3 矩、协方差与相关系数 . . . . . . . . . . . . . . . . . . . . . . . . . 126
2.3.4 最小二乘法和回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
2.4 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
第三章 特征函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
3.1 特征函数的基本性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
3.1.1 特征函数与独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
3.1.2 利用特征函数计算原点矩 . . . . . . . . . . . . . . . . . . . . . . . 148
3.2* 特征函数与分布函数的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
3.2.1* Lévy 反演公式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
3.2.2* Lévy 连续性定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
3.3 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
第四章 一些常见的分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
4.1 离散型随机变量的分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
4.1.1 单点分布、两点分布和二项分布 . . . . . . . . . . . . . . . . . 165
4.1.2 几何分布、负二项分布 . . . . . . . . . . . . . . . . . . . . . . . . . 167
4.1.3 Pólya 分布、超几何分布 . . . . . . . . . . . . . . . . . . . . . . . . 169
4.1.4 Poisson 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
4.2 连续型随机变量的分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
4.2.1 均匀分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
4.2.2 正态分布、Laplace 分布、对数正态分布 . . . . . . . . . . 177
目录 ix
4.2.3 Gamma 分布、χ 2 分布和指数分布. . . . . . . . . . . . . . . . 180
4.2.4 Beta 分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
4.2.5 t 分布和 F 分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
4.2.6* 以物理学家命名的分布 . . . . . . . . . . . . . . . . . . . . . . . . . 186
4.3 随机向量的分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
4.3.1 多元正态分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
4.3.2 多项分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
4.3.3* Dirichlet 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
4.3.4* Wishart 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
4.4 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
第五章 大数律与中心极限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
5.1 大数律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
5.1.1 弱大数律 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
5.1.2* 强大数律与重对数律 . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
5.2 中心极限定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
5.2.1 Lindeberg-Feller 中心极限定理 . . . . . . . . . . . . . . . . . . . 213
5.2.2 中心极限定理的应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
5.3 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
第二部分 数理统计学初步 222
第六章 数理统计学的一些基本概念 . . . . . . . . . . . . . . . . . . . . . . . . 226
6.1 样本的特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
6.1.1 经验分布及其性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
6.1.2 样本矩及其极限分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
6.2 样本统计量及其性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
6.2.1 统计量的抽样分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
6.2.2 统计量的充分性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
x 目录
6.3 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
第七章 参数估计理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
7.1 点估计及其优良性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
7.1.1 相合性与渐近正态性 . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
7.1.2 无偏性和有效性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
7.1.3 点估计的常用方法：矩方法、最大似然法 . . . . . . . . . 266
7.2 区间估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
7.2.1 Neyman 的置信区间. . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
7.2.2* Fisher 的信任估计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
7.3 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
第八章 假设检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
8.1 Neyman-Pearson 假设检验理论. . . . . . . . . . . . . . . . . . . . . . . . . . 285
8.1.1 功效函数与一致最大功效检验 . . . . . . . . . . . . . . . . . . . 287
8.1.2 Neyman-Pearson 引理和单调似然比. . . . . . . . . . . . . . . 290
8.1.3 假设检验与置信区间估计的关系 . . . . . . . . . . . . . . . . . 294
8.2 大样本检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
8.2.1 似然比检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300
8.2.2 拟合优度检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
8.2.3 独立性的列联表检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
8.3 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
第九章 线性模型的回归分析与方差分析 . . . . . . . . . . . . . . . . . . . . 311
9.1 线性回归模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
9.1.1 最小二乘估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
9.1.2 回归模型的假设检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
9.1.3 置信区间与预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
9.2 方差分析模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
9.2.1 单因素方差分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
目录 xi
9.2.2 两因素方差分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
9.3 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
第十章 非参数统计学简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
10.1 次序统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
第十一章 统计决策与贝叶斯分析概要 . . . . . . . . . . . . . . . . . . . . . . . . 339
11.1 先验分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
11.1.1 无信息先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
11.2 后验分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
第三部分 概率统计中的一些实用算法 343
第十二章 Markov 链和隐 Markov 模型 . . . . . . . . . . . . . . . . . . . . . . . . 345
12.1 Markov 链 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
12.1.1 随机过程简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
12.1.2 转换矩阵与转换函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
12.1.3 遍历定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
12.2 隐 Markov 模型及其算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
12.2.1 向前-向后算法与 Viterbi 算法. . . . . . . . . . . . . . . . . . . . 356
12.2.2 模型参数的训练：Baum-Welch 算法 . . . . . . . . . . . . . . 359
12.3 习题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
第十三章 期望最大化算法与最大熵算法 . . . . . . . . . . . . . . . . . . . . . . 362
13.1 条件分布的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
13.2 期望最大化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
13.2.1 完整数据与最大似然估计 . . . . . . . . . . . . . . . . . . . . . . . 363
13.2.2 期望最大化算法及其变种 . . . . . . . . . . . . . . . . . . . . . . . 365
13.2.3 期望最大化算法的应用 . . . . . . . . . . . . . . . . . . . . . . . . . 370
xii 目录
第十四章 随机模拟技术 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
14.1 Markov 链 Monte Carlo (MCMC) 方法 . . . . . . . . . . . . . . . . . . . . 375
14.1.1 Metropolis-Hastings 算法 . . . . . . . . . . . . . . . . . . . . . . . . 375
14.1.2 Gibbs 抽样与切片抽样. . . . . . . . . . . . . . . . . . . . . . . . . . 379
14.1.3 混合 Monte Carlo 方法. . . . . . . . . . . . . . . . . . . . . . . . . . 382
14.1.4 可逆跳 MCMC 方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
第四部分 附录 385
附录 A 软件 R、Maxima 和 GnuPlot 简介 . . . . . . . . . . . . . . . . . . . 386
A.1 R —— 最好的统计软件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
A.2 Maxima —— 符号计算的未来之路 . . . . . . . . . . . . . . . . . . . . . . 388
A.3 GnuPlot —— 强大的函数绘图工具 . . . . . . . . . . . . . . . . . . . . . . 391
附录 B 一些模拟试验的 R 演示源码. . . . . . . . . . . . . . . . . . . . . . . . 392
附录 C 正态分布的由来 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
附录 D 函数项级数的一致收敛性 . . . . . . . . . . . . . . . . . . . . . . . . . . 398
附录 E Riemann-Stieltjes 积分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
附录 F 可测函数与 Lebesgue 积分 . . . . . . . . . . . . . . . . . . . . . . . . . 403
附录 G 矩阵计算的若干基本结果 . . . . . . . . . . . . . . . . . . . . . . . . . . 408
附录 H 凸性与 Jensen 不等式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
附录 I 习题答案或提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415