数据共享交换平台产品白皮书

【实例简介】
数据共享交换平台产品白皮书,实现核心业务应用之间的数据集成管理，设计数据平台系统的应用架构视图，加强数据服务及安全管理意识，通过标准、规范的技术路线对外提供统一接口服务。
Censoft 美村料技数件 中关数据共享全换平台( CenDXS)产品口皮书 目录服务 安全支认证 (信息资源目录管理、儿数据管 掉服务网关 理,导航服务) CaGR户 数据交换平台 CenDXS 数将式转确 业务流程管理BPM 管理控制 流程定制、规则引擎) 数据转换 Message broker 管理 运行 安全接口 WebServices 状态流程计 企业服务总线ESB 题数/ 分析 路由服务 Routing services 转换服务 安全服务 日志管理 基内的点对点Plsb 协议转换 格式转换 OML\File\auston) 运行管理 解密」[。地程 后动/停止适配器服务 消息通讯服务 数据各份恢复 同步/异步通信 存储转发 可靠传输 逻地址与网络地址转换 组件/厘务/系统多应次 编码/解码加密解密调用身份验证签名 断点续传 分块传输 序列化/反序列化 负载均衡管理 Qeue队列 配置管理 控制台配置维护 发送接收传输服务 适配器配置维护 (可视化配置向导 HTtP/ITpsiToP pMi File FtP Socket Wtonglink Web Servicea L配置文件) 节点适配器软件分发 更码的女燃部的x油) 节点适配器远程安装 Cer?P Dr CenDXs数据交换平台技术架构图 CendXs数据共享交换平台的主要功能包括 (一)目录服务 数捱共享交换平台的共享资源目录服务系统包含目录服务和目录资源两部 分内容 1)日录服务提供日录、元数据注册、发布、审核、修改、维护以及编目服 务等相关内容; 2)目录资源通过将现有各类资源(元数据)的合理分类,重组资源,并通 过 XML Tree以资溟导航树的方式完成资源目录服务系统的开发建设工作。 (二)交换服务 数捱交换服务是数据共享交换平台的核心,数据交换服务包括六部分:路由 服务、转换服务、安全服务、消息通讯服务、发送接收服务、接入服务 1、路由服务 路由服务可使用像业务名称这样的地址,在服务之问路由消息,控制消息的 Censoft 美村料技数件 中关数据共享父换平台( CenDXS)严品口皮书 存储和分发,并对每个消息启动正确的处理流程;实现欻据交换路由解析功能, 可实现数据的多步多级传输。 1)路由可以是显式的:使用输入数据提供的帚式地址或昳像中的显式地址 2)路由服务也可以是基内容的:分析输入数据或输出数据的内容以确定 需要在哪里对输出进行路由; 3)基于主题的消息路由,支持发布订阅机制:主题是消息月的地的字符串 描述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数 据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩 展性。 2、转换服务 转换服务包括协议转换、格式转换、数据转换,通过转换解决交换节点间协 议差别、异构、数据项差异等问题。 1)协议转换 在请求方和服务方之间进行协议转换,解决异构系统之间由于通讯协议不同 而不能联互通的问题 2)格式转换 在请求方和服务方之间进行消息格式转换,解决异构系统之间由于数据描述 方式不同而不能互联互通的问题,解决不同企业应用程序的本体和浯义的异类问 题 支持各种主流关系型数据库之间的数据交换,如 Oracle、 SQL Server DB2、 Sybase、 Access、 MYSQL等。 支持数据表名称和字段名称转换,可以实现不同表名、字段名的数据表 之间的数据交换 3)数据转换 指邐过数据项定乂功能,实现选择源数据表的仝部数据接入或先择源薮据表 的部分字段接入;筛选数据记录或定义接入条件,实现以有符合条件的数据记录 才被接入数据交换平台。 数据表转换的实际内容是数据记录的拆分、组合,数据交换平台通过主健定 义,多转换关系表定乂等环节,实现各种记录处理。 Censoft 美村料技数件 中关数据共享全换平台( CenDXS)产品口皮书 表对·表交换 数据交换平台可以实现基本的一个数据表到一个数据表的交换,并且在一对 交换中支持一个源数据表的一个记录的不同字段在目标表中生成两条或多条 记录 表对多表交换 数据交换平台可以支持“一对多”交换。实现一个源数据表中的一条记录的 不同字段组合交换为多个目标表中的记录。 ■多表对一表交换 数据交换平台可以支持“多对一”交换。实现多个源数据表中的数据记录组 合转换为一个目标表中的一条记录。 3、安全服务 能够基于产品自带的安全服务功能,对敏感信息交换进行MD5、DES、SSL 加密,根据数据加密应用途径进行交换信息内窄的加密(可逆或不可逆),保障 数据交换传输过稈中的安全。同时还将具有数据合法性验证功能,能够对交换平 台与应用系统之间以及交换系统之间的两类合法性验证,确保数据可信交换。 4、消息通讯服务MQ 消息通讯服务为数据共享交换平台提供强健的消息中间件基础平台,它的主 要功能如下 1)支持同步或异步通信 同步处理是指每一步骤必须等待下一步骤完成后才能继续进行;异步处理建 立在系统间异步、基于消息的交互上,基于“存储转发”或消息队列服务,采用 “松散耦合”的方式连接,这使得分布式系统具有更髙的可用性和可伸缩性 即时传输 毕丁事件驱动,由系统运行时动态产生和控制的会话方式。对丁没有网终占 用时段限制或要求实时传输数据的交换可以定义为即时传输模式,即时传输模式 可以将接入数据即时发送到接收节点。 定时传输 山系统定时器根据预设的定时策略产生和控制的会话方式。对于有网终占用 时段限制或不要求实时传输数据的交换可以定义为定时传输模式,定时传输模式 Censoft 美村料技数件 中关数据共享全换平台( CenDXS)产品口皮书 可以在指定吋间将接入数据发送到接收节点。即时传输模式支持定点传输和指定 间隔时间轮询启动传输 ■手工启动传输 糸统运行时由用户手工产生和控制的会话方式。 2)支持多种传输模式 数据交换平台支持多种方式的数据分发,即可实现基于交换服务器的一对一 的队列传输和一对多的发布订阅传输,也支持两个适配器的直接消息传输 ■订阅 平台基于主题的消息路由,支持发布订阋机制:主题是消息目的地的字符串 揹述,基于消息主题实现消息的路由,可有效地实现消息的发布和订阅,实现数 据抽取、转换、加载与应用之间的松散耦合,使得数据交换平台具有良好的可扩 展性 队列 平台支持队列方式,方便实现一点对一点的数据传输 3)支持多通讯模式 支持数据的发布/订阅、请求/应答通信模式;发布/订阅通信模式完全是一种 “推”(Push)的技术;而请求/应答通信模式是对传统 Client/Server通信模式的 支持,即支持“拉”(Pu〕技术。用户可以根据具体应用的信息处理流蓕来选择 合适的信模式。 推:点到点或点到多点的主动信息推送方式 拉:点到点或点到多点的破动信息获取方式 组播:在一个域或群组范围内的多点群发方式 4)可靠传输 支持断点续传、分块传输;保证消息传输一次且仅需传输一次,确保数据可 靠传送。当以主题发布消息时,保证每个订阅者都可以接受到消息,而且每个订 阅者只能接受一次。另外,由于发布老产生的消息是按时间顺序放在相当士队列 的消息队列表中,可以保证按消息产生的时间序列依次发送,司样,也按时间序 列接受和处理消息,所以,整个架构不仅可保证消息传递的可靠性而且可保证消 思处理的时序性 Censoft 美村料技数件 中关数据共享全换平台( CenDXS)产品口皮书 5)事务支持 发送方只有成功地发送消息时,才删除消息队列中的消息,否则回滚事务; 只有在受到接收方确认消息( Point/ Point时)或所有订阅者确认消总 ( Publish/ Subscriber时)之后,才删除持久性存储的消息:接攻适酤器只有成功 地将消息映像到目标数据库后,才给消息通讯服务器发送确认消息。 6)解码/编码 将数据转换到与数据交换平台相同的代码页,编码服务则可将输出数据的字 符集编码为系统的代码页。 7)数据压缩/加密解密 攴持数据传输过程中的数据压缩伽加密处理,保证数据传输安全 8)序列化/反序列化 序列化服务获取输出数据结构并将其序列化到可通过网络传输的纯文本文 件中,反序列化服务执行相反的操作。 9)地址转换 在分配给集成服务目的地的逻辑业务地址与网终协议所需要的网终坦址间 转换。 5、发送接收传输服务 执行数据的传输或接收,提供JMS、 Webservices、FTP、 Http/httPs、IOP、 RMI、rile、 Socket等多种方式数据传输。 6、接入服务 数捱共亨交换平台的接入包括采集接入(相关单位到中心基础数据库)和共 亨接入(中心基础数据库到相关咩位),数据接入功能提供可视化配置与管理, 支持多种接入方式和接入模式,支持基丁元数据的可视化数据接入 1)接入方式 数摭共享交换平台支持多种接入方式,接入方式包括中闫薮据表接入、原始 系统表接入、文件目录树接入、 Web services接入、文解析接入、数搪表单接 入等。可根据不同需要配置各种接入方式。 中间数据表接入 对于可以推送交换数据的节点,可采用肀间表接入方式接入,这种方式最简 Censoft 美村料技数件 中关数据共享全换平台( CenDXS)产品口皮书 单,接凵界面清晰,利于排查问题,并且可以保证原始系统不受交换平台的影响, 保证原始系统数据的安仝。 中旧薮据表接入方式即根据实际业务需要,定义所需交换数据的表结构,建 立接口数据表,原始应用系统负责向接口表肀传送需要的数据,交换丬台负责将 接口表中的数据交换到目标节点 中叵数据表接入方式要求原始应用系统提供数据推送服务,每个接入节点的 实施将有一定的工作量。 ■原始系统表接入 对于不可以推送交换数据并对数据共享交换平台信仁的节点,可采用原始系 统表接入方式接入,这种方式比较复杂,接口界面不清昕,不利于排查问题,并 且涉及到原始系统数据库会受交换平台一定影响,要靠严格的授权机制来保证原 始系统数据的安全 原始系统表接入方式即根据实际业务需要,在原始应用系统数据表中沅择需 要的数据项,自接交换到目标节点 原妒系统表接入方式不要求原始应用系统提供数据推送服务,每个接入节点 的实施工作量很小,可以方便的增加、减少数据表和数据项,但是需提供完整 的原始系统表结构说明。 文件目录树接入 平台提供文件目录接入功能,可实现各节点间指定目录节点中文件的传输和 同步,这种方式可简单的实现两台服务器间目录文件的同步。 ■ Web service接入 平台提供 Web services接入接口,原始系统可通过调用 Web services接口将 数据推送到交换平台,同时,交换平台也提供 Web services调用功能,通过调用 原始系统的 Web services服务获得数据 ■文件解析接入 平台提供文件解析接入功能,将系统或者其它方式生成的 Excel TXT、PDF DOC等各类格式的数据文件解析入库,再以数据库的方式交换。 ■数据表单接入 为用户提供数据表单,用户直接在表单上输入数据,提交后系统直接入库并 Censoft 美村料技数件 中关数据共享全换平台( CenDXS)产品口皮书 传输。 ■GIS数据接入 平台支持GIS数据的交换,GIS数据库中将存在Tab空间图像数据,平台将 库中图像数据定义为标准的二走制数据文件(以 Blob Clob等模式通过底层二 进制完成存储转发),借助JMS消息完成数据的交换服务 ■适配器模板服务接口 数捱共亨交换平台能在以上各类通用接口的基础上,提供数据交换服务适配 器模板,用户可根据模板形成特殊数据交换服务适配器组件的开发和使用 2)接入适配器 系统通过丰富约内置适配器和组件攴持上述的多种接入方式,各种适配器和 组件的功能如 适配器服务组件 适配器/服务组件描述 名称 可监听多个文件月录;文件发送日志记录、查询;文件发 文件发送适配器送回执的记录、查询;根据监听目录的不同,发送到不同 的主题或队列上 可同时监听不同的主题或队列;向发送方发送回执;文件 文件接收适配器 接收日志记录、查询。 Excl文件解析适 自动完成 Excel文件的解析和入库处理 配器 PDF文件解析适配 自动完成PDF文件的解析和入库处理 器 TEXT文件解析适 自动完成TEXT文件的解析和入库处理 配器 支持 Oracle、DB2、 MS SQL Server、 Sybase、 MySQL等多 种主流数据库类型;自动生成和创建数据库接凵表、主键、 数据库发送适配器 索引;批处理(次可传送多条数据库纪录)的支持;支 持非结构亿数据和大字段数据的处理 8 Censofit 中美村斜技数件 中关数据共亨父换平台( CenDXS)产品口皮书 支持 Oracle、DB2、 MS SQL SErver、 Sybase、 MySQL等多 种主流数据厍类型;自动生成和创建数据库接口表、主键 据库接收适配器 索引;批处理(一次可传送多条数据库纪录)的支持;支 持非结构亿数据和大字段数据的处理 专门为 CengrP门户CMS内容管理系统设计的适配器,可 实坳不同蚱点、不同栏目之间的数捃传输、射、转换和 CMS内容管理适同步功能。传输的模型可以是一个上级节点以主题的方式 配器 发布传输的栏日,多个下级节点以订阅的方式接受;也可 以是不同节点(无论上级节点还是下级节点)之间的CMS 数据的互相传接。 专门为 CengrP门设计的适配器,通过 Portlet可调用 门户适配组件 CeIdXs数据交换服务。 目录服务适配组件提供通过目录服务系统调用数据交换服务的接口适配组件 Webservices服务提供数据交换Web服务接口、文件交换web服务接口等 适配组件 Web services服外适配组件 JMS消息系统适配 连接JMS消息系统 组件 提供 Http/httPs、FTP、 TCP Sockets、SOAP、RMI、SMS 工具组件 等多种协议接口工具组件,向应用系统发送请求或接收响 3)触发模式 数捱共亨交换平台对各种接入数据的传送触发提供三种模式:数据库触发器 触发模式、数据库轮询触发模式、目录监听触发模式。 数据库触发器 对于支持触发器的数据厍,可以米用触发器触发模式,原始数据的任何变化 都可以触发接入动作,实现即时的数据接入。 ■数据库轮询 对于不支持触发器、数据采集时间受限制(如:白天的上下午不能影响业务 【实例截图】
【核心代码】