实例介绍
【实例简介】
基于实例和特征的迁移学习算法研究
上海交通大学 学位论文原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师的指导下, 独立进行研究工作所取得的成果。除文中已经注明引用的内容外, 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名: 日期:200年,月6日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版,允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索,可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文 保密□,在年解密后适用本授权书。 本学位论文属于 不保密囝。 (请在以上方框内打“√”) 学位论文作者签名: 指导教师签名:1 日期:209年,月日 日期,亻年,月,b日 上海交通大学学位论文答辨决议书 姓名戴文渊学号1060394所在 学科 计算机应用技术 指导教师俞勇答辩2009年1月答辩 地点 逸夫科技楼311 日期 16日 论文题目 基于实例和特征的迁移学习算法研究 投票表决结果:555(同意票数/实到委员数应到委员数)答辫结论:回通过口未通过 评语和决议: 戴文谢的论女对基家例和将而习年译入的研鉴 该课题旨右桌砖传纹戒器动限劫布衣器导成眼刺张采明意和有 吃作包提了-种基于泉例汪移羽法给生了aAB 算回提3-种基特公汪移3方,3因片和受本键技术 取場3很山敌果,流文点明方法新颖,结沉正别,反强着己孔 家地推第术基础理和相关的去步知议,具级的去从季 科研午W彩机答排刷凶滴蕤,回间趣正确浴拜委员会讨(孔记 名拨票奉决),-敌其通过硕士怪沉辩被子召丽士 209年1月16日 职务姓名 职称 单位 签名 主席黄林鹏 教授 上海交通大学 答委员 辩 翁惠玉 副教授 上海交通大学 委委员薛贵荣 副教授 上海交通大学 员 会委员张冬茉 副教授 上海交通大学 成 员委员俞勇 教授 上海交通大学 签|天 姿号 委员 秘书韩定 助理研究员 上海交通大学 中文摘要 基于实例和特征的迁移学习算法研究 摘要 传统的机器学习假设训练数据与测试数据服从相同的数据分布。然 而,在许多情况下,这种同分布假设并不满足。不满足同分布假设的情 况往往发生在训练数捃过期,而标注新数据非常昂贵。于是,我们有有 了大量的在不同分布下的过期训练数据。完全丢弃这些数据将会是非常 浪费的。在这种情况下,迁移学习就变得非常重要了,因为迁移学习可 以从现有的数据中迁移知识,用米帮助将米的学习 迁移学习( Transfer Learning)的目标是将从个环境中学到的知识 用来帮助新环境中的学习仼务。因此,迁移学习不会像传统忛器学习那 样作同分布假设。在本文中,我们将会比较全面的回顾迁移学习的整个 领域,并且介绍我们在迁移学习领域的近期研究成果。我们的工作可以 分为两部分;基于实例的迁移学习和基于特征的迁移学习。我们将会展 示出,基于实例的迁移学习有更强的知识迁移能力,而基于特征的迁移 学习具有更广泛的知识迁移能力。这两种方法各有千秋。 我们介绍了两种迁移学习方法,分别基于 boosting技术和特征翻译。 这两种算法分别对应基于实例的迁移学习和基于特征的迁移学习。我们 通过非常全面的实验来证明我们的方法在迁移学习时候能够很大幅度提 高很多现有的学习算法,无论是近迁移还是远迁移 关键词:迁移学习、实例、特征 英文摘要 Instance-based and Feature-based Transfer Learning ABSTRACT Traditional machine learning techniques make a basic assumption that the training and test data should be under the same distributions. However, in many cases, this identical distribution assumption docs not hold. The violation of thc assumption might happen when the training data are out of date, but new data are expensive to label. This leaves plenty of labeled examples that are under a similar but different distribution which is a waste throw away entirely. In this situation, transfer learning becomes important to take the role of lever aging these existing data knowledge Transfer learning aims at using learned knowledge from one context to benefit fur- ther learning tasks in other contexts. Thus, transfer learning does not make the identical- distribution assumption as tractional machine learning algorithms. In this thesis, we broad review the whole field of transfer learning and then introduce our recent work on transfer learning accordingly. Our work can be divided into two parts: instance-based transfer learn ing, and feature-based transfer learning. We will show that instance-based transfer learning has better strength in knowledge transferring, while feature-based transfer learning is with more ger We present two transfer learning algorithms based on boosting technique and feature translation respectively. These two algorithms corresponds to instance-based and feature based transfer learning. Our extensive experiments show that our algorithms can greatly improve several state-of-the-art algorithms in the situation of transfer learning, including near transfer and far transfer KEY WORDS: Transfer Learning, Instance, Feature 目录 目录 摘要 ABSTRACT(英文摘要) 第一章绪论 第二章迁移学习领域的研究现状 2.1多任务学习. 22跨领域学习 23不同数据分布下的学习 24其他迁移学习问题 25迁移学习的应用 4555678 第三章基于实例的迁移学习算法研究 3.1基于 Boosting的迁移学习算法 3.1.1基本思想. 3.1.2问题定义 10 3.1.3 TrAdaboost算法描述.. 12 3.2 TrAdaboost算法的理论分析. 14 321基本符号 14 3.2.2辅助训练数据上的错误率.. .:.··· 15 3.2.3源训练数据上的错误率 ,,20 3.3实验分析 :··..··:·.:·.:···:·:·:·:······: 21 3.3.1数据描述 ..22 332实验结果 23 第四章基于特征的迁移学习算法研究 25 4.1基于特征翻译的迁移学习算法 4.1.1翻译学习框架 27 4.1.1.1问题定义 ····‘· 27 4.1.1.2风险最小化框架. 41.1.3模型估计. ·· 29 41.14翻译器o 30 4,2实验分析 32 4.2.1实验数据 酯鲁鲁D着着·,,·,,音唐鲁帝着争 32 4.2.2比较方法 32 4.2.3实验结果 ··········:····:..:.::.::: 33 第五章总结与展望 35 参考文献 致谢 4·, 个人简历、在学期间的研究成果及发表的论文 春,音 42 插图 插图 1-1日常生活中的迁移学习例子 3-1关于 TrAdaboost算法基木思想的一个直观的示例。 3-2 TrAdaboost算法的机制 12 3-3一个关于数据生成的示例 22 3-4三种算法在 people vs places数据集上的效果 24 3-5 TrAdaBoost算法在 people vs places数据集上的达代曲线 24 4-1一个直观的例子,用来说明六中学习策略的异同 26 4-2共同出现数据的例子:Flickr(http://www.flickrcom/) 7 4-3在12个数据集上的平均错误率 34 44对于不同的入, TLRLSK在12个数据集上的平均错误率 34 表格 表格 3.120 Newsgroups数据分布的描述 22 32SRAA数据分布的描述 23 33当只有1%的源数据是训练数据时的分类错误率 4.1文本辅助图像分类的数据描述 3 【实例截图】
【核心代码】
基于实例和特征的迁移学习算法研究
上海交通大学 学位论文原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师的指导下, 独立进行研究工作所取得的成果。除文中已经注明引用的内容外, 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名: 日期:200年,月6日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版,允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索,可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文 保密□,在年解密后适用本授权书。 本学位论文属于 不保密囝。 (请在以上方框内打“√”) 学位论文作者签名: 指导教师签名:1 日期:209年,月日 日期,亻年,月,b日 上海交通大学学位论文答辨决议书 姓名戴文渊学号1060394所在 学科 计算机应用技术 指导教师俞勇答辩2009年1月答辩 地点 逸夫科技楼311 日期 16日 论文题目 基于实例和特征的迁移学习算法研究 投票表决结果:555(同意票数/实到委员数应到委员数)答辫结论:回通过口未通过 评语和决议: 戴文谢的论女对基家例和将而习年译入的研鉴 该课题旨右桌砖传纹戒器动限劫布衣器导成眼刺张采明意和有 吃作包提了-种基于泉例汪移羽法给生了aAB 算回提3-种基特公汪移3方,3因片和受本键技术 取場3很山敌果,流文点明方法新颖,结沉正别,反强着己孔 家地推第术基础理和相关的去步知议,具级的去从季 科研午W彩机答排刷凶滴蕤,回间趣正确浴拜委员会讨(孔记 名拨票奉决),-敌其通过硕士怪沉辩被子召丽士 209年1月16日 职务姓名 职称 单位 签名 主席黄林鹏 教授 上海交通大学 答委员 辩 翁惠玉 副教授 上海交通大学 委委员薛贵荣 副教授 上海交通大学 员 会委员张冬茉 副教授 上海交通大学 成 员委员俞勇 教授 上海交通大学 签|天 姿号 委员 秘书韩定 助理研究员 上海交通大学 中文摘要 基于实例和特征的迁移学习算法研究 摘要 传统的机器学习假设训练数据与测试数据服从相同的数据分布。然 而,在许多情况下,这种同分布假设并不满足。不满足同分布假设的情 况往往发生在训练数捃过期,而标注新数据非常昂贵。于是,我们有有 了大量的在不同分布下的过期训练数据。完全丢弃这些数据将会是非常 浪费的。在这种情况下,迁移学习就变得非常重要了,因为迁移学习可 以从现有的数据中迁移知识,用米帮助将米的学习 迁移学习( Transfer Learning)的目标是将从个环境中学到的知识 用来帮助新环境中的学习仼务。因此,迁移学习不会像传统忛器学习那 样作同分布假设。在本文中,我们将会比较全面的回顾迁移学习的整个 领域,并且介绍我们在迁移学习领域的近期研究成果。我们的工作可以 分为两部分;基于实例的迁移学习和基于特征的迁移学习。我们将会展 示出,基于实例的迁移学习有更强的知识迁移能力,而基于特征的迁移 学习具有更广泛的知识迁移能力。这两种方法各有千秋。 我们介绍了两种迁移学习方法,分别基于 boosting技术和特征翻译。 这两种算法分别对应基于实例的迁移学习和基于特征的迁移学习。我们 通过非常全面的实验来证明我们的方法在迁移学习时候能够很大幅度提 高很多现有的学习算法,无论是近迁移还是远迁移 关键词:迁移学习、实例、特征 英文摘要 Instance-based and Feature-based Transfer Learning ABSTRACT Traditional machine learning techniques make a basic assumption that the training and test data should be under the same distributions. However, in many cases, this identical distribution assumption docs not hold. The violation of thc assumption might happen when the training data are out of date, but new data are expensive to label. This leaves plenty of labeled examples that are under a similar but different distribution which is a waste throw away entirely. In this situation, transfer learning becomes important to take the role of lever aging these existing data knowledge Transfer learning aims at using learned knowledge from one context to benefit fur- ther learning tasks in other contexts. Thus, transfer learning does not make the identical- distribution assumption as tractional machine learning algorithms. In this thesis, we broad review the whole field of transfer learning and then introduce our recent work on transfer learning accordingly. Our work can be divided into two parts: instance-based transfer learn ing, and feature-based transfer learning. We will show that instance-based transfer learning has better strength in knowledge transferring, while feature-based transfer learning is with more ger We present two transfer learning algorithms based on boosting technique and feature translation respectively. These two algorithms corresponds to instance-based and feature based transfer learning. Our extensive experiments show that our algorithms can greatly improve several state-of-the-art algorithms in the situation of transfer learning, including near transfer and far transfer KEY WORDS: Transfer Learning, Instance, Feature 目录 目录 摘要 ABSTRACT(英文摘要) 第一章绪论 第二章迁移学习领域的研究现状 2.1多任务学习. 22跨领域学习 23不同数据分布下的学习 24其他迁移学习问题 25迁移学习的应用 4555678 第三章基于实例的迁移学习算法研究 3.1基于 Boosting的迁移学习算法 3.1.1基本思想. 3.1.2问题定义 10 3.1.3 TrAdaboost算法描述.. 12 3.2 TrAdaboost算法的理论分析. 14 321基本符号 14 3.2.2辅助训练数据上的错误率.. .:.··· 15 3.2.3源训练数据上的错误率 ,,20 3.3实验分析 :··..··:·.:·.:···:·:·:·:······: 21 3.3.1数据描述 ..22 332实验结果 23 第四章基于特征的迁移学习算法研究 25 4.1基于特征翻译的迁移学习算法 4.1.1翻译学习框架 27 4.1.1.1问题定义 ····‘· 27 4.1.1.2风险最小化框架. 41.1.3模型估计. ·· 29 41.14翻译器o 30 4,2实验分析 32 4.2.1实验数据 酯鲁鲁D着着·,,·,,音唐鲁帝着争 32 4.2.2比较方法 32 4.2.3实验结果 ··········:····:..:.::.::: 33 第五章总结与展望 35 参考文献 致谢 4·, 个人简历、在学期间的研究成果及发表的论文 春,音 42 插图 插图 1-1日常生活中的迁移学习例子 3-1关于 TrAdaboost算法基木思想的一个直观的示例。 3-2 TrAdaboost算法的机制 12 3-3一个关于数据生成的示例 22 3-4三种算法在 people vs places数据集上的效果 24 3-5 TrAdaBoost算法在 people vs places数据集上的达代曲线 24 4-1一个直观的例子,用来说明六中学习策略的异同 26 4-2共同出现数据的例子:Flickr(http://www.flickrcom/) 7 4-3在12个数据集上的平均错误率 34 44对于不同的入, TLRLSK在12个数据集上的平均错误率 34 表格 表格 3.120 Newsgroups数据分布的描述 22 32SRAA数据分布的描述 23 33当只有1%的源数据是训练数据时的分类错误率 4.1文本辅助图像分类的数据描述 3 【实例截图】
【核心代码】
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论