实例介绍
【实例简介】
百度基础架构部高级架构师沈国龙《BML百度大规模机器学习云平台实践》
大数据的处理流程 BDTC2015 数据 收集 存储 变形 分析 业务场景 网络日志 消息总线 关系数据库 批处理 商务智能 日志分析 移动设备 设备总线 键值数据库 并行计算 机器学习 商品推荐 智能硬件 数据快递 对象存储 数据仓库 实时竟价 社交媒体 流数据分析 舆情分析 物联网 价格预测 工作流 百度大数据处理基础架构 BDTC2015 Data Warehouse OLAP 百度大脑 BML Paddle 基础平 基于大数据的智能应用 DCE ELF TaskManager Dstream Spark Parameter Queue Continous MapReduce/ DAG RDD Server Worker Data Stream Normandy HDFS Matrⅸx IDC BDTC2015 Essential Learning Framework 大规模机器学习算法框架ELF BDTC2015 百度新三代机器学习计算框架,依赖于百度多年机器学习算法开发以及分布 式计算经验 设计上汲取了常见计算框架 的精华。拥有和 样简单的编程模式,比更快的性能,以及比更易用的接口 基于数据流的编程模式,让用户通过简单的 就能轻松写出高效的 并行程序 ·计算过程进行托管,提供了包括多轮数据迭代处理、异步更新、并行通信等 功能,让用户不在考虑底层的实现细节,专注算法自身逻辑 还拥有性能一流的参数服务器 ),可用于存储万亿规 模参数 作业流程 BDTC2015 Normandy Agent Maybach Agent (1)submit Matrix Client Normandy Server Orted Maybach Server 5 fork MP proc ELF Coordinator b fork 4)launch ELF Algo Proc Orte (2)launch(3)allocate mpfrun resppnse Normandy Agent Maybach Agenf (4)launch Orted NPl_Allgatl HNP Orted Exchange ELF (Head NodeProcess) 5 fork MPI ppoc Algo Proc (mpirun ELF Coordinator IP+Port 6 fork (4)launch LF Algo Proc Normandy Agent Maybach Ager Orted 5 fork MPl broc ELF Coordinator 6 fork Current ELF Job Execution Procedure ELF Algo Proc 架构图( Parameter Server) BDTC2015 Essential Learning framework BDTC2015 易用 对用户屏蔽多机分布式细节,用户就像写单机程序一样 编写 Online异步SGD仅需要200行代码; 100+行就能实现大规模分布式LR算法; 分布式LDA算法只需要500行代码 高效 组件分布式多线程实现,同时支持细粒度的线程控制 节点间通信依赖高效的 baidu-pC 深度优化 hashtable,专用于 Parameter server 支持多种不同的参数读取和更新方式 BDTC2015 Baidu machine Learning 【实例截图】
【核心代码】
百度基础架构部高级架构师沈国龙《BML百度大规模机器学习云平台实践》
大数据的处理流程 BDTC2015 数据 收集 存储 变形 分析 业务场景 网络日志 消息总线 关系数据库 批处理 商务智能 日志分析 移动设备 设备总线 键值数据库 并行计算 机器学习 商品推荐 智能硬件 数据快递 对象存储 数据仓库 实时竟价 社交媒体 流数据分析 舆情分析 物联网 价格预测 工作流 百度大数据处理基础架构 BDTC2015 Data Warehouse OLAP 百度大脑 BML Paddle 基础平 基于大数据的智能应用 DCE ELF TaskManager Dstream Spark Parameter Queue Continous MapReduce/ DAG RDD Server Worker Data Stream Normandy HDFS Matrⅸx IDC BDTC2015 Essential Learning Framework 大规模机器学习算法框架ELF BDTC2015 百度新三代机器学习计算框架,依赖于百度多年机器学习算法开发以及分布 式计算经验 设计上汲取了常见计算框架 的精华。拥有和 样简单的编程模式,比更快的性能,以及比更易用的接口 基于数据流的编程模式,让用户通过简单的 就能轻松写出高效的 并行程序 ·计算过程进行托管,提供了包括多轮数据迭代处理、异步更新、并行通信等 功能,让用户不在考虑底层的实现细节,专注算法自身逻辑 还拥有性能一流的参数服务器 ),可用于存储万亿规 模参数 作业流程 BDTC2015 Normandy Agent Maybach Agent (1)submit Matrix Client Normandy Server Orted Maybach Server 5 fork MP proc ELF Coordinator b fork 4)launch ELF Algo Proc Orte (2)launch(3)allocate mpfrun resppnse Normandy Agent Maybach Agenf (4)launch Orted NPl_Allgatl HNP Orted Exchange ELF (Head NodeProcess) 5 fork MPI ppoc Algo Proc (mpirun ELF Coordinator IP+Port 6 fork (4)launch LF Algo Proc Normandy Agent Maybach Ager Orted 5 fork MPl broc ELF Coordinator 6 fork Current ELF Job Execution Procedure ELF Algo Proc 架构图( Parameter Server) BDTC2015 Essential Learning framework BDTC2015 易用 对用户屏蔽多机分布式细节,用户就像写单机程序一样 编写 Online异步SGD仅需要200行代码; 100+行就能实现大规模分布式LR算法; 分布式LDA算法只需要500行代码 高效 组件分布式多线程实现,同时支持细粒度的线程控制 节点间通信依赖高效的 baidu-pC 深度优化 hashtable,专用于 Parameter server 支持多种不同的参数读取和更新方式 BDTC2015 Baidu machine Learning 【实例截图】
【核心代码】
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论