支持向量机 邓乃扬

【实例简介】
这本书是中科院的邓乃扬、田英杰老师所写，想要深入学习SVM相关理论和算法的同学可以看看这本书，我个人这本书非常好。
数据挖掘源于数据库技术引发的海量数据和人们利用这些数据的愿望.用数 据管理系统存储数据,用机器学习约方法分析数据、挖掘海量数据背片的知识,便 促成了数据挖掘( data mining的产生.慨括地讲,数据挖掘的任务是从大型数据 库或数据仓库中提取人们感兴趣的、事先知的、有用的或潜在有用的信息 支持向量机( suppoort vector machine.SVM是数据挖握中的项新技术,是借 助于最优化方法解决机器学习问题的新工具它最初于20世纪90年代由 Vapnik 提出,近年来在其理论研究和算法实方宙都取得∫突破性进,开始成为克服 维数灾难”和“过学习”等传统困难的有力手段虽然它还处于飞速发展的阶段, 但是它的理论基础和实现途径的基本框架已经形成。白200年开始,国外已续 有几本专蓍出版.据我们所知,本是国内第一本专门对它进行全面完整介绍和论 述的书籍 本书王要以分类问题(模式识别,判别分析)和回归问题为背景,系统阐述支 持量机和相应的最优化方法.各章的主要内容如下:第1章介纲最优化问题及 其基本理论.第2章对分类闻题和回归问题直观地导出最基本的支持向量机.第 3章介绍核的理论,这是推广基本的支持向量机的关键,也是通过线性问题求解非 线性问题的基础.第4章介绍统计学习理论,讨论支浡向量机的统计学理论基狲 第5章和第6章分别详细研究支持向量分类机和支持向量回U机.第7章介绍实 现支持向量机的最优化算法.第8章讨论支持向量机的应用,包括解决实际问题 时的一些处理方法和一些应用实例 本书包括了我们自己的研究工作例如,在做为支持向量机基础的原始问题和 对偶间题解的关系上,我们发现,当前文献的论述存在着逻辑上的缺陷本书第 次在完严密的逻辑基础上完善了各种支持向量机中的最优化问题的理论体系 此外,作为求解支持向量机中优化问题的方法,本书介绍了我们自已的研究成果 如处理大型问题的 Newton-PCG型算法.另外还立说明,本书还包含了我们讨论 班成员的若干研究工作 本书所设定的读者包括关心理论与应用两方面的人土,对于支持向量机的理 论,4有系统而严谨的论述;作为使用支持向量机的入「,有直观的谎明.实际 上我们特别强调该书的叮读性,强调崑观对理解问题实质的重要作用.我们通常总 是首先用图像等直观手段引进各种概含、方法和结论,并特别注意对它们的本质给 予形象的解释和说明,最后给出其严格证明.仅仅关心实际应用的读者,略去这些 证明以及若于理论结论,仍可以对所介绍的方法的本质有一个概括的理解本书 对有关领域具有高等数学知识的实际下作者是一本实用读物.我们希望本书的出 版,能普及和推广支持向量机在多种宴际领域中的应用,也能促进我对支捋向量 机的深入研究,特别是促进优化界朋友们的关心与参与 本书得以出版,我们要感谢中国科学院科学出版基金和华夏英才基金的资助, 冋时乜要感谢十国农业大学各级領导的支持利重点课程建设的资助.本书已被选 为中国衣业大学研究生系列教材,我们还要感谢国家自然科学甚金多年来对我们 研究工作的资助.本书作者曾致力于最优化方法的饼究多年,儿年前片始组线和 领导讨沦班,学与研究数据挖掘利支持向螳柷.除本书位作耆外,讨论班的成 以还有上来生教投、薛毅教授、钟萍剴教授、经玲舭教授、张春华、杨志民、刘广 利、苏时光等多入,狂这里我们要将别感谢钏萍副教授和张春华.比外,我们还要 媵谢刘宝光和张建中两位教授以及梁玉梅、张梅梅两位同学,他们都对本书提供了 帮助 臼于作者水平所限,书中难免有不要之处,欢迎读者批评指正 符号表 R 实数集合 R 绁欧氏字间 LEi, g 洲冻点 T={(x1,w)…,(x,y)} 训练集 洲练点个数 输入空间 输出空阊 x 洲练点所仁空间 (X×y) 练集所在竿间 输入向量(输人广模式 问量x的第个分量 Hilbert空间中的向量 x 向量x的第个分量 输出指标(输出) 与的内积 ? 内积空间, Hilbert空间 ={:1,…,xt 输入空间中的个点组成的集合 2={x Hilber空间中的l个点组成的集合 d 输人空间到 Silbert空间的映射 权向量 权向量u的第分量 Hi]bert空间中的权向量 权向量w的第个分量 b 网值 Co 凸壳 sang 符号函效 k(I 核函数 核矩阵〔Gram矩阵 F p-范数 2-范数 h v维 惩罚参数 收缩壳的参数 白蚣对数 pe 底为2的对数 将号表 松弛变量 松弛变量的第x个分量 间隔 对偶变量, Lagrange乘子 寸偶变量的第i个分量 通常获示概率分布概率 百录 序言 符号表 第1章最优化问题及其基本理论… l■1口■■ 會■■■ ■血PPP中 11最优化问题 1,1,1最优化问题实例 1.12最优化问题 1.1.3凸最优化 12最优生条件 15 12上无约束问题的最优性条件 122约束问题的最优性彖件 18 1.3对偶理论∴ 131最大最小对偶 132 Lagrange对偶 ■■q 38 1,4注记 参考文献… 4了 第2章求解分类问题和回归问题的宜观途径 21分类问题的提出 19 211例子(心脏病诊断〕 49 21.2分类问题和分类学习机 22线性分类学习机 53 221线性可分问题的线性分划 222近似线性可分闻题的线性分划 2.3支持向量分类机… 231从性分划到二次分划 23.2二次分划算法的简化 74 233非缓性分划的基本途径 24线性回归学习机 n+“dk+■啬啬■■■■■F番 24.1回归问题 242线性回归问题与硬E-带超平面 243硬E-芾超平面的构造 244硬s-#超平面的推 36 245线性支持向量回止机 25支持向量归机 26注记 9 参考文献 第3章核 31带述相似性的工具—内积 96 3⊥.1直观的相似程度与内积 312支持向量分类机中的相似与内积 ,98 3.1.核函数的选取 98 32考项式空间和多听式核 32.1有序单项式空间 32.2元序单项式空间 1 323 FIlbert空间与多项式核函教 104 33 Mercer核 ·…··105 331半正定矩阵的特征展开 15 332 Mercer定理与 Mercer核 10g 34正定核 112 3.41正定核的必要条件· …·113 342正定核的充分条件 113 343正定核的特征 344再生核lber空间 116 34.5正定核与 MMercer核的关系… 7 3.5核的构造… ··11了 3.51核的构造原则 ,·117 352落用的几种核函数 j20 36注记… ··:122 参考文献 123 第4章推广能力的理论估计 41失函数和期望风险 125 4.11概率分布 125 412损失函數 413期胡凤险…… 132 42求解分类问题的一种途径和-个算法模型 136 421分类问题的一个自然的数学提法 1:f 422求解分类问题的途径 141 423-个学习算法 4.3VC雏 44学」算法在概率意义下的近似正确性 14G 45一致性概念和关键定理 日录 16结构风险最小化 ,,,,152 4了甚于问隔的推广估计 154 48注记∵ ■■■ 参考文献 (2 第5章分类问题… 51最大间隔原则 51.1绒性叮分问题的最大河隔原则 52扰动意义下的几何解释 ■■1 52找性可分支持向量分类机 6i6 521线性可分问题的规范超平面 522原始最优化问题 … 523对偶问题及其与原始问题的关系 69 524线性可分支持向量分类机及其理论基础 I73 53线性支持向量分类机 l7生 531原始问题 17生 532对偶问题及其与原始问题的关系 179 533线性支持向量分关机及其理论基础 l83 534支持向量 185 4支持向量分类机 186 541可分支持向量分类机… 16 542支持向量分米机 55-支持向量分类机(-SVC) 5【-线性支持向量分类机的原始最优化间题 552v线性支持向量分类机的对偶问题及其与原始向题的关系 553-支持向量分类机 然挖 554-支持向量分类机的性质 指 56-支持向量分类机(v-sV)和-支持向量分类机(C-SVC)的 关系 206 561主要结论 2郑6 562丰要结论的证明 57多类分类问题 214 57.1类对余类 215 572成对分类 2]7 573纠错输出编码方法 2]8 574确定名类目标函数方法 218 个何子 59注记 221 目录 参考文献 P「q「 第6章回归佔计 61回归问题 ■■■ 224 611可归叵题的难点 61.2回归间题的数学提法 ■1L■ …….226 6上3不敏感掘失函数 225 62E-支持向量回归机 …….…::,·22 6.2硬∈带支持向量回机 228 622从线性6-支持向最回归机到E·支持向量回归机 2:3 63·支持向量回归机 ··245 63L原始最优化问题 ……·245 632对個问题及其与原始问题的关系 …,·248 6.33-支持向量国归机 252 634-支持向量回归机的性质 25生 64E-支持向量回归机(esVR)与p支持向量回妇机{u-SvR 的关系 641主要结论 啁E5 62主要结论的证明… ,25 65其他形式的支持向量回归机 259 G1支持向最回归机的线性规划形式 65.2E-带为任意形状的支持向量回归机 262 66其他形式的损失函数 264 67一些例子 268 67l维回归问趣 672二维回归间题 270 68注记 ■■■司司■卩4■ 272 参考文献 血·“· 第7章算法 71元约束问题解法… 274 7⊥1无约束问鹎提法 记74 712基本无约束问题算法 …·277 713牛顿条件颓优共把梯度法( Newton-PCG算法) 294 72内点算法 21线性规划的原仿射尺度法 722线性规划的原-对偶算法 723凸二次规划的仿射灵度法 724凸二次规划的原-对偶算法 P 【实例截图】
【核心代码】