支持向量机

【实例简介】
关于支持向量机里面讲核函数的，介绍了线性核函数、高斯核函数、及多项式核函数等。还介绍了核函数的判定以及Mercer定理
1x1 12 1T3 21 2T4 2.3 p(a) L31 3x2 .3.3 2cT1 V2C.2 2 3 +d 更一般地,核数K(x2z)=(xz+)“对应的映射后特征维度为a (求解方法参见 http://zhidao.baiducom/question/16706714.html) 由于计算的是内积,我们可以想到IR中的余弦相似度,如果ⅹ和z向量夹角越小,那么核函数值越大,反之,越 小。因此,核函数值是(x)和(z)的相似度。 再看另外一个核函数 K(r, z)=exp z-z|2 22 这时,如果x和z很相近(x-2‖≈0),那么核函数值为1,如果x和z相差很大(x-2》0),那么核函数 值约等于0。由于这个函数类似于高斯分布,因此称为高斯核函数,也叫做径向基函数( Radial basis function 简称RBF)。它能够把原始特征映射到无穷维。 既然高斯核函数能够比较ⅹ和z的相似度,并映射到0到1,回想 logistic回归, sigmoid函数可以,因此还有 sigmoid核函数等等 下面有张图说明在低维线性不可分时,映射到高维后就可分了,使用高斯核函数。 Linear 回回 看目即 Gaussian 来自 Eric Xing的sdes 注意,使用核函数后,怎么分类新来的样本呢?线性的时候我们使用SVM学与出W和b,新来样木ⅹ的话,我们 使用 wTx+ b 来判断,如果值大于等于1,那么是正类,小于等于是负类。在两者之间,认为无法确定。如果 使用了核函数后,W2x+b就变成了wφ(x)+b,是否先要找到p(x),然后再预测?答案背定不是了,找 φ(x很麻烦,回想我们之前说过的 wa+6= boy (0)x+b i=1 (x(,x)+b 只需将<x(,x>替换成(x,x),然后值的判断同上 8核函数有效性判定 问题:给定一个函数K,我们能否使用K来替代计算φ(x)2中(z),也就说,是否能够找出一个,使得对丁所有 的x和z,都有k(x,2)=(x)r中(2)9 比如给出了K(x,2)=(x2)2,是否能够认为K是一个有效的核函数 下面来解决这个问题,给定m个训练样本全(r(3xm,每一个对应一个特征向量。那么,我们可以将 (e) yJ 仟意两个和带入K中,计算得到=0。I可以从1到m,j以从1到m,这样可以计算出 m*m的核函数矩阵( Kernel Matrix)。为了方便,我们将核函数矩阵和(x,z)都使用K来表示 如果假设K是有效地核函数,那么根据核函数定义 k1=K(x0x0)=p(x()p(x0)=p(x(0)p(x()=K(x(,x)=K 可见,矩阵K应该是个对称阵。让我们得出一个更强的结论,首先使用符号中x(x)来表示映射函数中(x)的第k维 属性值。那么对于任意向量z,得 2K2=∑∑2K3 ∑∑(m0y(0)2 ∑∑∑(z0)(x0)z ∑∑∑29(x)k(z0) k i j =S|∑ zipk(c(a k 0. 最后一步和前面计算K(x)=(x2)时类似。从这个公式我们可以看出,如果K是个有效的核函数(即K(xz) 和(x)p(2)等价),那么,在训练集上得到的核函数矩阵K应该是半正定的(K≥0 这样我们得到一个核函数的必要条件: K是有效的核函数==>核函数矩阵K是对称半正定的 可幸的是,这个条件也是充分的,由 Mercer定理来表达。 Mercer定理: 如果函数K是×四→巫上的映射(也就是从两个n维向量映射到实数域)。那么如果K是一个 有效核函数(也称为 Mercer核函数),那么当且仅当对于训练样例(r()x(m,其相应 的核函数矩阵是对称半正定的。 Mercer定理表明为了证明K是有效的核函数,那么我们不用去寻找φ,而只需要在训练集上求出各 ,然后 判断矩阵K是否是半正定(使用左上角主子式大于等于零等方法)即可。 许多其他的教科书在 Mercer定理证明过程中使用了范数和再生希尔伯特空间等概念,但在特征是n维的情况 下,这里给出的证明是等价的。 核函数不仅仅用在SWM上,但凡在一个模型后算法中出现了<xz>,我们都可以常使用区(xz)去替换,这可能 能够很好地改善我们的算法。 posted on2011-03-1820:22 Jerry Lead阅读(…)评论(…)编辑收藏 刷新评论刷新页面返回顶部 博客园首页博问新闻闪存程序员招聘知识库 Powered by:博客园 Copyright@ Jerry Lead 【实例截图】
【核心代码】