最优化计算方法

【实例简介】最优化计算方法

刘浩洋、户将、李勇锋、文再文编著

【实例截图】

【核心代码】

目录
第一章 最优化简介 1
1.1 最优化问题概括 . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 实例：稀疏优化 . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 实例：深度学习 . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 最优化的基本概念 . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
习题 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
第二章 基础知识 21
2.1 范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2 导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3 广义实值函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4 凸集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.5 凸函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.6 共轭函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.7 次梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.8 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
习题 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
第三章 典型优化问题 59
3.1 线性规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2 最小二乘问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3 复合优化问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.4 随机优化问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.5 半定规划 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
v
vi 目录
3.6 矩阵优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.7 优化模型语言 . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.8 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
习题 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
第四章 最优性理论 79
4.1 最优化问题解的存在性 . . . . . . . . . . . . . . . . . . . . . . 79
4.2 无约束可微问题的最优性理论 . . . . . . . . . . . . . . . . . . 81
4.3 无约束不可微问题的最优性理论 . . . . . . . . . . . . . . . . . 85
4.4 对偶理论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.5 一般约束优化问题的最优性理论 . . . . . . . . . . . . . . . . . 97
4.6 带约束凸优化问题的最优性理论 . . . . . . . . . . . . . . . . . 106
4.7 约束优化最优性理论应用实例 . . . . . . . . . . . . . . . . . . 109
4.8 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
习题 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
第五章 无约束优化算法 117
5.1 线搜索方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.2 梯度类算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.3 次梯度算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
5.4 牛顿类算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.5 拟牛顿类算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.6 信赖域算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5.7 非线性最小二乘问题算法 . . . . . . . . . . . . . . . . . . . . . 171
5.8 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
习题 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
第六章 约束优化算法 187
6.1 罚函数法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.2 增广拉格朗日函数法 . . . . . . . . . . . . . . . . . . . . . . . 200
6.3 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
习题 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
目录 vii
第七章 复合优化算法 219
7.1 近似点梯度法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
7.2 Nesterov 加速算法 . . . . . . . . . . . . . . . . . . . . . . . . 230
7.3 近似点算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
7.4 分块坐标下降法 . . . . . . . . . . . . . . . . . . . . . . . . . . 250
7.5 对偶算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
7.6 交替方向乘子法 . . . . . . . . . . . . . . . . . . . . . . . . . . 267
7.7 随机优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
7.8 总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
习题 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
附录 A 符号表 311
参考文献 315
索引 331