实例介绍
【实例简介】
EM算法详细例子及推导
数θ),那么对于上面的实验,我们可以计算出他们出现我们观察到的结果 即0=(5,9,.8,4,7,20=(B,A,A,B,4)的概率函数P(X=x10),2 z)⑨)就叫做θ的似然函数。我们将它对θ求偏导并令偏导数为0,就可以 得到如的结果 P(X=x0,=20))=(;P(z=A)3(1-P(z=A)2 C10(1-64) 10A(1-6 C104(1- 0(1-6B) C106n(1-6 我们将这个问题稍微改变一下,我们将我们所观察到的结果修改一…下 我们现在只知道每次试验有几次投掷出正面,但是不知道每次试验投掷的 是哪个硬币,也就是说我们只知道表中第一列和第三列。这个时候我们就 称Z为隐藏变量( Hidden variable),X称为观察变量( Observed variable)。 这个时候再来估计参数θ4和θB,就没有那么多数据可供使用了,这个时 侯的估计叫做不完整数据的参数估计。 如果我们这个时候冇某种方法(比如,正确的猜到每次投掷硬币是A 还是B),这样的话我们就可以将这个不完整的数据估计变为完整数据估 计 当然我们如果没有方法来获得更多的数据的话,那么下面提供了一种在 这种不完整数据的情况下来估计参数θ的方法。我们用迭代的方式来进行: (1)我们先赋给θ一个初始值,这个值不管是经验也好猜的也好,反正我 们给它一个初始值。在实际使用中往往这个初始值是有其他算法的结 果给岀的,当然随机给他分配一个符合定义域的值也可以。这里我们 就给定64=0.7,6B=0.4 (2)然后我们根据这个来判断或者猜测每次投掷更像是哪枚硬币投掷的结 果。比如对于试验1,如果投掷的是Δ,那么出现5个止面的概率为 C10×0.75×(1-07)5≈0.1029:;如果投掷的是B,出现5个正面的概 率为C105×0.43×(1-0.4)5≈0.2007;基于试验1的试验结果,可以判 断这个试验投掷的是使币A的概率为0.10290.10290.2007)-0.389 是B的概率为02007(0.1029+0.2007)06611。因此这个结果更可能 是投掷B出现的结果 (3)假设上一步猜测的结果为B,A,A,B,A,那么恨据这个猜测,可以像完 整数据的参数仙计一样(公式2重新计算的值 这样一次一次的迭代2-3步骤直到收敛,我们就得到了θ的估计。现在你 可能有疑问,这个方法靠谱么?事实证明,它确实是靠谱的。 期望最大化算法就是在这个想法上改进的。它在估计每次投掷的硬币的 吋候,并不要确定住这次就是硬币A或者B,它计算岀来这次投掷的硬币 是A的概率和是B的概率;然后在用这个概率(或者叫做Z的分布)来计 算似然函数。期望最大化算法步骤总结如下: F步骤先利用旧的参数值〃计算隐藏变量Z的(条件)分布P(万=2|X n2),然后计算logP(,X=m)的期望 B(o(2,X=x)=∑∑P(Z=别X=)P(Z=X=x) 其中θ是当前的值,而θ是上一次迭代得到的值。公式中已经 只剩下θ一个变量了,θ是一个确定的值,这个公式或者函数常常叫 做Q函数,用Q(6,6)来表示。 M步骤极大化Q,往往这一步是求导,得到由旧的θ值′米计算新的θ值的 公式 aQ 总结一下,期望最大化算法就是先根据参数初值估计隐藏变量的分布, 然后根据隐藏变量的分布来计算观察变量的似然函数,估计参数的值。前 者通常称为E步骤,后者称为M步骤 3数学基础 首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察 样本:1,x2,…,rn的情況下,极大化对数似然函数 (=>nP(X2=x;) (5) 其中只包含观察变量的概率密度函数 P(X2=2)=∑P(X=n,=) 这里因为参数θ的写法与条件概率的写法相同,因此将参数θ写到下标以更明确的表 述 其中Z为隐藏随机变量,{}是Z的所有可能的取值。那么 6)=∑h∑P(X=x,z=2) ∑h∑。Px=x 这里我们引入了一组参数(不要怕多,我们后面会处理掉它的)a,它满足 可能的;,0;∈(0,1和∑;a=1到这里,先介绍一个凸函数的性质,或者 叫做凸函数的定义。∫(x)为凸函数,=1,2,…,m,A∈[0,1∑1A 对∫(x)定义域中的任意n个m1,x2,…,xn有 f(∑Aa)≤∑mf(xr) i=1 对于严格凸函数,上面的等号只有在x1=2 xn的时候成立。关于 凸函数的其他性质不再赘述。对数函数是一个严格凸数。因而我们可以 有下面这个结果 0)=∑hn∑ ≥∑∑ah(X=2n,2= C 现在我们根据等号成立的条件来确定a;即 P(X=x,Z=2) C (10) 其中c是一个与j无关的常数。因为∑,=1,稍作变换就可以得到 P(X;=x;) 现在来解释下我们得到了什么。c;就是Z=2;在X=x;下的条件概率 戌者后验概率。求α就是求隐藏随机变量Z的条件分布。总结一下目前得 到的公式就是 )-∑∑ P(Xi=i,Z (12) 直接就极大值比较难求,EM算法就是按照下面这个过程来的。 它就是大名鼎鼎的琴生( Jensen)不等式 (1)根据上一步的θ来计算α,即隐藏变量的条件分布 (2)极大化似然函数来得到当前的的估计 3.1极大似然估计 好吧,我觉得还是再说说极大似然估计吧。给定一个概率分布D,假设 其概率密度函数为f,其中f带有一组参数6。为了估计这组参数6,我们 可以从这个分布中抽出一个具有n个采样值的X1,X2,…,Yn,那么这个就 是n个(假设独立)同分布随机变量,他们分别有取值x1,x2…,xn,那么 我们就可以计算出出现这样一组观察值的概率密度为 lI f(ai) (13) 对于f是离散的情况,就计算出现这组观察值的概率 10) 注意,这个函数中是含有参数0的。0的极大似然估计就是求让上面似然 函数取极大值的时候的参数O值。 般来说,会将上面那个似然函数取自然对数,这样往往可以简化计 算。记住,这样仅仅是为了简化计算。取了自然对数之后的函数叫做对数 似然函数。 ln()=∑lnf(n) 因为对数是一个严格单调递增的凹函数,所以对似然函数取极人值与对对 数似然函数取极大值是等价的。 3取了对数之后还可以跟信息熵等概念联系起来 4关于凸函数有很多种说法,上凸函数和下凸函数,凸函数和凹函数等等,这里指的是 二阶导数大」(等」)0的一类函数,而凹函数是其相反数为凸数的一类函数 32期望最大化算法收敛性 如何保证算法收敛呢?我们只用证明l(04+1)≥1(00)就可以了 l(0 (t11) ∑∑ (+1)1PX=x;2=2)(+ (t+1 ∑∑ nf(X=x;,z=z;)(+1) (t) o(tn /(r=i,Z=2(t) ≥∑∑ahn (t) 7(0 其中第一个人于等于号是因为只有当a取值合适(琴生不等式等号成立条 件)的时候才有等号成立,第二个人于等于号正是M步骤的操作所致。 这样我们就知道l(θ)是随着迭代次数的增加越来越人的,收敛条件是值 不再变化或者变化幅度很小。 4应用举例 4.1参数估计 很直接的应用就是参数估计,上面举的例子就是参数估计 42聚类 但是如果估计的参数可以表明类别的话,比如某个参数表示某个样本是 否属于某个集合。这样的话其实聚类问题也就可以归结为参数估计问题。 References []最大似然估计[oNline].Availablehttp://zh.wikipediaorg/wiki. %E6%9c%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1 [2] Ceppellini, r, Siniscalco, M.& Smith, C.A. Ann. Hum. Genet. 20, 97-115 (1955) 3 Hartley, H. Biometrics 14, 174-194(1958) 4 Baum, L.E., Petric, T, Soulcs, G.& Weiss, N. Ann. Math. Stat 41, 164-171 (1970) [ 5] Dempster, A P, Laird, N.M., Rubin, D B.(1977). "Maximum Likelihood from Incomplete Data via the em algorithm. Journal of the royal statis- tical Society Series B(Methodological)39(1): 1-38. JSTOR 2984875 MR 0501537 [6]Whatistheexpectationmaximizationalgorithm[oNline].Avaiable:http //ai. stanford. edu/-chuongdo/papers/em tutorial pdf [7TheEmAlgorithmOnline.Availablehttp://www.cnblogs.com, jerrylead/ archive/2011/04/06/2006936html 【实例截图】
【核心代码】
EM算法详细例子及推导
数θ),那么对于上面的实验,我们可以计算出他们出现我们观察到的结果 即0=(5,9,.8,4,7,20=(B,A,A,B,4)的概率函数P(X=x10),2 z)⑨)就叫做θ的似然函数。我们将它对θ求偏导并令偏导数为0,就可以 得到如的结果 P(X=x0,=20))=(;P(z=A)3(1-P(z=A)2 C10(1-64) 10A(1-6 C104(1- 0(1-6B) C106n(1-6 我们将这个问题稍微改变一下,我们将我们所观察到的结果修改一…下 我们现在只知道每次试验有几次投掷出正面,但是不知道每次试验投掷的 是哪个硬币,也就是说我们只知道表中第一列和第三列。这个时候我们就 称Z为隐藏变量( Hidden variable),X称为观察变量( Observed variable)。 这个时候再来估计参数θ4和θB,就没有那么多数据可供使用了,这个时 侯的估计叫做不完整数据的参数估计。 如果我们这个时候冇某种方法(比如,正确的猜到每次投掷硬币是A 还是B),这样的话我们就可以将这个不完整的数据估计变为完整数据估 计 当然我们如果没有方法来获得更多的数据的话,那么下面提供了一种在 这种不完整数据的情况下来估计参数θ的方法。我们用迭代的方式来进行: (1)我们先赋给θ一个初始值,这个值不管是经验也好猜的也好,反正我 们给它一个初始值。在实际使用中往往这个初始值是有其他算法的结 果给岀的,当然随机给他分配一个符合定义域的值也可以。这里我们 就给定64=0.7,6B=0.4 (2)然后我们根据这个来判断或者猜测每次投掷更像是哪枚硬币投掷的结 果。比如对于试验1,如果投掷的是Δ,那么出现5个止面的概率为 C10×0.75×(1-07)5≈0.1029:;如果投掷的是B,出现5个正面的概 率为C105×0.43×(1-0.4)5≈0.2007;基于试验1的试验结果,可以判 断这个试验投掷的是使币A的概率为0.10290.10290.2007)-0.389 是B的概率为02007(0.1029+0.2007)06611。因此这个结果更可能 是投掷B出现的结果 (3)假设上一步猜测的结果为B,A,A,B,A,那么恨据这个猜测,可以像完 整数据的参数仙计一样(公式2重新计算的值 这样一次一次的迭代2-3步骤直到收敛,我们就得到了θ的估计。现在你 可能有疑问,这个方法靠谱么?事实证明,它确实是靠谱的。 期望最大化算法就是在这个想法上改进的。它在估计每次投掷的硬币的 吋候,并不要确定住这次就是硬币A或者B,它计算岀来这次投掷的硬币 是A的概率和是B的概率;然后在用这个概率(或者叫做Z的分布)来计 算似然函数。期望最大化算法步骤总结如下: F步骤先利用旧的参数值〃计算隐藏变量Z的(条件)分布P(万=2|X n2),然后计算logP(,X=m)的期望 B(o(2,X=x)=∑∑P(Z=别X=)P(Z=X=x) 其中θ是当前的值,而θ是上一次迭代得到的值。公式中已经 只剩下θ一个变量了,θ是一个确定的值,这个公式或者函数常常叫 做Q函数,用Q(6,6)来表示。 M步骤极大化Q,往往这一步是求导,得到由旧的θ值′米计算新的θ值的 公式 aQ 总结一下,期望最大化算法就是先根据参数初值估计隐藏变量的分布, 然后根据隐藏变量的分布来计算观察变量的似然函数,估计参数的值。前 者通常称为E步骤,后者称为M步骤 3数学基础 首先来明确一下我们的目标:我们的目标是在观察变量X和给定观察 样本:1,x2,…,rn的情況下,极大化对数似然函数 (=>nP(X2=x;) (5) 其中只包含观察变量的概率密度函数 P(X2=2)=∑P(X=n,=) 这里因为参数θ的写法与条件概率的写法相同,因此将参数θ写到下标以更明确的表 述 其中Z为隐藏随机变量,{}是Z的所有可能的取值。那么 6)=∑h∑P(X=x,z=2) ∑h∑。Px=x 这里我们引入了一组参数(不要怕多,我们后面会处理掉它的)a,它满足 可能的;,0;∈(0,1和∑;a=1到这里,先介绍一个凸函数的性质,或者 叫做凸函数的定义。∫(x)为凸函数,=1,2,…,m,A∈[0,1∑1A 对∫(x)定义域中的任意n个m1,x2,…,xn有 f(∑Aa)≤∑mf(xr) i=1 对于严格凸函数,上面的等号只有在x1=2 xn的时候成立。关于 凸函数的其他性质不再赘述。对数函数是一个严格凸数。因而我们可以 有下面这个结果 0)=∑hn∑ ≥∑∑ah(X=2n,2= C 现在我们根据等号成立的条件来确定a;即 P(X=x,Z=2) C (10) 其中c是一个与j无关的常数。因为∑,=1,稍作变换就可以得到 P(X;=x;) 现在来解释下我们得到了什么。c;就是Z=2;在X=x;下的条件概率 戌者后验概率。求α就是求隐藏随机变量Z的条件分布。总结一下目前得 到的公式就是 )-∑∑ P(Xi=i,Z (12) 直接就极大值比较难求,EM算法就是按照下面这个过程来的。 它就是大名鼎鼎的琴生( Jensen)不等式 (1)根据上一步的θ来计算α,即隐藏变量的条件分布 (2)极大化似然函数来得到当前的的估计 3.1极大似然估计 好吧,我觉得还是再说说极大似然估计吧。给定一个概率分布D,假设 其概率密度函数为f,其中f带有一组参数6。为了估计这组参数6,我们 可以从这个分布中抽出一个具有n个采样值的X1,X2,…,Yn,那么这个就 是n个(假设独立)同分布随机变量,他们分别有取值x1,x2…,xn,那么 我们就可以计算出出现这样一组观察值的概率密度为 lI f(ai) (13) 对于f是离散的情况,就计算出现这组观察值的概率 10) 注意,这个函数中是含有参数0的。0的极大似然估计就是求让上面似然 函数取极大值的时候的参数O值。 般来说,会将上面那个似然函数取自然对数,这样往往可以简化计 算。记住,这样仅仅是为了简化计算。取了自然对数之后的函数叫做对数 似然函数。 ln()=∑lnf(n) 因为对数是一个严格单调递增的凹函数,所以对似然函数取极人值与对对 数似然函数取极大值是等价的。 3取了对数之后还可以跟信息熵等概念联系起来 4关于凸函数有很多种说法,上凸函数和下凸函数,凸函数和凹函数等等,这里指的是 二阶导数大」(等」)0的一类函数,而凹函数是其相反数为凸数的一类函数 32期望最大化算法收敛性 如何保证算法收敛呢?我们只用证明l(04+1)≥1(00)就可以了 l(0 (t11) ∑∑ (+1)1PX=x;2=2)(+ (t+1 ∑∑ nf(X=x;,z=z;)(+1) (t) o(tn /(r=i,Z=2(t) ≥∑∑ahn (t) 7(0 其中第一个人于等于号是因为只有当a取值合适(琴生不等式等号成立条 件)的时候才有等号成立,第二个人于等于号正是M步骤的操作所致。 这样我们就知道l(θ)是随着迭代次数的增加越来越人的,收敛条件是值 不再变化或者变化幅度很小。 4应用举例 4.1参数估计 很直接的应用就是参数估计,上面举的例子就是参数估计 42聚类 但是如果估计的参数可以表明类别的话,比如某个参数表示某个样本是 否属于某个集合。这样的话其实聚类问题也就可以归结为参数估计问题。 References []最大似然估计[oNline].Availablehttp://zh.wikipediaorg/wiki. %E6%9c%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1 [2] Ceppellini, r, Siniscalco, M.& Smith, C.A. Ann. Hum. Genet. 20, 97-115 (1955) 3 Hartley, H. Biometrics 14, 174-194(1958) 4 Baum, L.E., Petric, T, Soulcs, G.& Weiss, N. Ann. Math. Stat 41, 164-171 (1970) [ 5] Dempster, A P, Laird, N.M., Rubin, D B.(1977). "Maximum Likelihood from Incomplete Data via the em algorithm. Journal of the royal statis- tical Society Series B(Methodological)39(1): 1-38. JSTOR 2984875 MR 0501537 [6]Whatistheexpectationmaximizationalgorithm[oNline].Avaiable:http //ai. stanford. edu/-chuongdo/papers/em tutorial pdf [7TheEmAlgorithmOnline.Availablehttp://www.cnblogs.com, jerrylead/ archive/2011/04/06/2006936html 【实例截图】
【核心代码】
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论