一体化数据治理和共享平台－数据交换与服务工具介绍

本文档---数据服务交换和服务工具处于第三个阶段，是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段

第一个阶段是比较原始的，缺少工具阶段。通过写脚本、针对项目的开发实现，工具化程度差，项目实施和运维成本高。

第二个阶段多样化的工具阶段，提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足，需要多个工具集成，缺少统一的架构、有孤岛，集成实施成本高，交换过程中面临丢包、系统堵塞等问题，安全稳定性差。

第三个阶段是统一的数据交换和服务平台，提供面向服务的插座式架构，基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案，能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务，保证了交换过程中的可靠传输，避免了丢包、系统堵塞等问题。

（1）传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换，当一个环节出现问题时易造成数据不一致。

（2）当采用异步交换方式时，异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。

（3）当采用同步的交换方式时，同步交换机制在交换数据量比较大，需要传输或者装载时间比较长时，易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图

（1）基于统一的数据交换服务实现了端对端的数据交换。

（2）通过事务处理机制保证跨网段交换的数据一致性。

（3）状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通，跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。

数据服务交换和服务工具包含数据采集服务、数据交换服务、数据加工服务、数据共享服务等模块，并提供统一的工具实现可视化配置、任务的管理、安全管理、运维监控等。

͏

数据交换与服务工具

数据服务工具采用面向服务的架构，提供数据服务实现数据交换、数据整合、数据复制、数据的传输、数据共享等功能。主要包括运行支撑、加工组件、服务组件、数据服务总线等组成。

基于统一工具、统一的架构、统一的运行支撑、统一元数据管理实现数据采集、交换、加工、共享等功能，可以根据项目特点选择不同的模块组合，形成不同的数据服务和治理解决方案。

基于微服务架构的“插座式”架构

数据采集服务主要负责异构、异地的多源数据到贴源缓存区的采集，实现内外部系统的结构化数据、半结构化数据、非结构化数据等不同类型、不同时效的数据的复制与整合。

（1）异构数据的采集与加工

基于流加工技术提供统一、规范的数据接入方法，从内外部数据源向平台导入结构化数据（如关系型数据库数据、应用系统数据、生产实时数据）、半结构化数据（如日志、邮件等）、非结构化数据（如文本、图片、视频、音频、网络数据流等）等不同类型的数据、不同时效的数据，并提供这些数据的整合方式。主要特点：

1. 提供分组平行加工能力，提高数据采集的性能。

2. 支持复杂网络环境下可靠数据采集，提供跨网段、跨单位的联动式数据采集。

3. 提供事务处理机制，保证采集数据的一致性。

4. 通过统一的采集处理接口，方便不同的采集源集成，满足特殊数据采集的需要。

5. 通过可视化工具实现异构、异地数据采集的可视化配置；实现采集过程中的数据加工规则的可视化配置；实现数据采集过程中的可视化管理和监控。

（2）数据复制

支持结构化数据和非结构化数据的复制，将异构、异地的数据库数据、文件数据复制到缓存库中。

数据复制与验证服务

 1）数据库数据复制

通过日志分析，能捕捉变化的结构、变化数据，并将变化的结构、变化的数据通过数据流复制技术复制到缓存库。支持异地、同城、同中心的数据复制。

• 支持关系数据库复制。通过数据流复制技术，实现同构或者异构数据库之间的复制，包括了：Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、AS 400、Informix、My SQL、Access、PostgreSQL、Intersystems Cache、Gupta SQL Base、dBase、Firebird SQL、MaxDB (SAP DB)、Hypersonic、Generic database、SAP R/3 System、CA Ingres、Borland Interbase、人大金仓（KingbaseES）、达梦（DM）、Oscar、Netezza等不同版本数据库。

• 支持关系数据库到NoSQL库复制。提供数据流复制技术实现关系型数据库的数据、结构复制到NoSQL库中，如mongodb、hbase、hive、Elastic Search等。

 2）数据文件复制

• 文件传输复制功能，将文件、文件夹下的文件复制到缓存库中。

• 支持变化文件同步，能监控给定文件夹，将文件夹下的变化文件复制到缓存库中。

• 异构系统间的复制，支持Windows、Linux、Aix、HP-Unix、Solaris等不同操作系统，支持异地数据文件的复制。

• 可以将数据文件复制到分布式的文件系统中，如hadoop平台中。

• 数据复制过程中的加密、压缩处理。

• 对文件全生命周期管理，可以设定规则对文档归档或者清理。

（3）比对验证

1. 提供比对验证验证功能，将缓存库的数据和源端的数据做比对，发现不一致的结构、不一致的数据、不一致的文件，并形成比对报告。

2. 通过比对验证功能方便用户了解缓存区的数据和源端数据的差异，进而保证源端数据和目标端数据的完整、一致。

（4）可视化工具

提供图形化工具集中配置、管理和监控；可以通过Web方式监控

数据交换服务组件，在遵循一定的交换策略条件下进行数据交换及消息传递，支持数据资源在不同单位、不同区域的快速交换和共享，提供配置工具生成交换节点，此外在数据传输过程中应保证数据完整性、安全性、可靠性和传输性能。

基于统一的数据服务配置出不同的数据交换方式

数据交换服务组件：支持全量、批量、实时的数据交换；支持大数据量的数据交换；支持复杂网络环境下的可靠数据交换；支持跨网段、跨单位的数据交换；支持基于通道、文件的加密传输；支持多种数据接口和传输协议；提供数据交换日志；支持断点续传功能。

（1）异构、异地的数据交换

提供基于流加工技术的数据交换和共享，在一个服务内实现数据库、文件、JSON、XML、传输队列、适配器等之间的相互交换。具有以下交换功能：

1. 支持数据库：Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、FoxPro、Access等；国产数据库：达梦、人大金仓、神州数据库等。

2. 支持SQL语句作为数据源。

3. No SQL的交换：支持与MongoDB的交换，支持与Hive的交换，支持与HBASE的交换，支持与Elastic Search的交换。

4. 支持文件：文本文件（分隔符、定长等）、Excel文件、DBF文件、MDB文件等。分隔符文件要支持组合分隔符。能可视化配置文件与异构系统的交换。

5. 支持XML， XML可以是文件，也可以是来源消息队列、API、 Web URL等。能可视化配置XML与异构系统的交换。

6. 支持JSON， JSON可以是文件，也可以是来源消息队列、API、 Web URL等。能可视化配置JSON与异构系统的交换。

提供内存对象映射满足API、传输队列数据抽取。可视化定义内存表与异构系统的交换；可视化配置数据采集结果可输出到通道中，实现数据传输服务的绑定。

跨网段的数据交换能力。跨网段是指数据源和数据目标位于不同的网段，每个网段不能访问跨网段的数据库。能配置跨网段的数据交换服务；能实现跨网段的实时联动的数据交换；支持CLob字段、blob字段等。

（2）数据交换过程中的数据加工

数据交换过程中的数据加工，实现如下加工能力：

1. 多种数据转换方法：包括字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换等。

2. 交换过程中的数据质量检查，根据数据逻辑判断规则，将干净的数据装载到目标中，将判断有问题的数据路由到数据库表或者数据文件中。

3. 多种逻辑处理，包括：格式匹配检查（如日期格式、数据格式、身份证格式、自定义格式等）、字符串逻辑检查（包含、以结束、以开始、在列表中、等于等）、内容为空检查、重复记录检查、范围内检查（如在列表内、字典或代码表内、包含、等于）、表表外键关联检查、逻辑检查（=、>、>=、<、<=、为空、非空、<And<、<=And<、<And<=、<=And<=、为真、为假等）、复合逻辑检查（以上逻辑的and、or组合）、自定义逻辑检查等。并能可视化配置。

4. 多种路由策略，路由条件可以是逻辑判断，也可以是等于、不等于、小于、小于等于、大于、大于等于、大于且小于、大于等于且小于、大于且小于等于、大于等于且小于等于、规则表达、是空、非空、在列表中、包含、开始为、结束为、为真、为假等方法。数据路由也可以是条件的组合，可以是and 也可以是Or。

（3）保证交换的可靠性、性能、实时性

1. 支持断点续传。在数据交换任务运行过程中由于各种不确定原因造成网络中断，网络恢复后重新运行服务后保证数据一致。

2. 支持实时交换。实现通过字符串报文、XML、JSON等格式实时交换数据。

3. 支持通过分析日志捕捉变化数据的实时交换。支持数据库CDC技术,能捕捉指定表的变化数据，增量抽取变化数据，经过转换等处理后按照条件路由到多个数据目标中。

4. 支持数据分组分块平行加工。在一个数据交换服务中实现数据分块及数据并行加工处理，保证加工性能。

（4）提供批量文件交换

提供文件传输服务功能。保证文件的可靠传输，主要实现如下功能：

1. 支持对文件、文件夹、文件夹下指定文件等的传输。

2. 提供变化文件传输功能，实现对文件夹含子文件夹的文件增量传输。

3. 提供文件筛选功能，实现满足条件的文件传输。

4. 提供多节点间文件接力传输功能，实现多节点间文件传输的联动。

5. 实现文件传输过程加密、压缩、断点续传等功能。

6. 支持一对一、一对多，支持同步、异步传输方式。

7. 提供和外部FTP、SFTP的传输服务，方便给外部的FTP/SFTP文件服务器交换文件。

8. 提供FTP文件传输服务，包括文件的上传和下载，支持文件和文件夹传输，支持变化文件传输、删除已传输文件等处理 。

9. 提供SFTP文件传输服务，包括文件的上传和下载，支持文件和文件夹传输。

10. 提供文件清理功能，方便整理文件存储空间主要实现如下功能：能压缩备份给定天数之前的文件，能删除给定天数之前的的文件。

数据加工处理实现数据的转换、逻辑判断、数据质量的检查、异常处理、数据路由、数据的规范化等处理，用于将贴源缓冲区的数据根据需要加工到数据存储与处理层的结构化区、非结构化区，并能给数据主题区、分析服务区、数据实验室提供规范合理的数据。支持全量、增量、实时的数据处理，基于数据流处理技术，处理在数据流引擎中进行，减轻对数据源和目标的影响；提供统一加工服务实现数据库、数据仓库、NoSQL、搜索引擎、文件、XML、We b Service、传输队列、适配器、内存表、JSON 等之间的相互交换，通过工具可视化配置通过拖拉等操作，可视化配置异构数据之间的转换、加工、映射规则。

流加工技术示意图

数据加工基于流加工技术实现。流加工技术是指在一个数据服务流内实现数据检查、数据清洗、数据比对、数据转换、数据逻辑判断、数据路由、数据异常处理等计算并将计算的结果输出到数据服务的目标中；流加工技术通过优化算法，将数据服务的加工计算在数据管理引擎内一次完成，减轻数据源和目标IO操作和计算压力，大大降低了对数据源和数据目标的影响。

流加工技术实现数据库、No SQL（hive、hbase、mogodb）、搜素引擎（Elastic Search）、文件、XML、Web Service、传输队列、适配器、内存表、JSON等之间的相互交换。

基于流加工技术的数据交换及整合服务

数据加工服务包括数据抽取、流加工、数据路由等部分。其中：抽取条件支持全量抽取、增量数据、SQL语句、动态规则、以及通过API或者接口表等调用方法传来的变量。

流加工处理可以是数据加工处理、数据逻辑检查、数据安全处理、调用服务或者方法等。数据加工处理包括字符串加工、字段赋、时间类转换、比对翻译、数学计算、数组操作、系统信息、变量操作、专用转换、GIS转换等；数据逻辑检查包括：格式检查、范围检查、缺失记录检查、相似重复记录检查、数字检查、专用检查、逻辑表达式检查、复合规则检查等；数据安全处理包括：安全过滤、模糊加密等；调用服务或者方法包括：调用流程/服务、根据逻辑判断调用处理方法；数据路由包括：干净数据路由、异常数据路由、业务规则路由等。

提供可视化界面实现如下功能:

支持数据库、NoSQL（hive、hbase、mogodb等）、搜素引擎（ElasticSearch等）、文件、XML、Web Service、传输队列、适配器、内存表、JSON等之间的相互交换。

1. 基于流加工技术的转换加工处理

2. 基于流加工技术的逻辑判断和数据质量检查

3. 保证数据事务完整性

4. 分组并行加工能力

5. 全量、批量、实时的数据交换

6. 大数据量的数据交换

7. 复杂网络环境下可靠数据交换

8. 跨网段、跨单位的联动式数据交换

9. 基于通道、文件的加密传输

服务提供方做服务资源的编目，注册到数据资源目录中心；中心做服务资源的审核、维护，并将共享的服务发布出去；服务使用方查询到服务后，向中心申请使用该服务；中心审核审批通过后给申请用户授权该服务的使用；服务使用方通过安全可管理的服务总线调用该服务，实现提供方和使用方的数据交换和共享。

数据共享示意图

（1）提供安全可管理的服务总线，方便安全可控的使用服务

1. 将配置好的服务分级授权给不同的部门、用户，用户包括管理角色、开发角色、查询角色、使用角色等。业务系统是具有使用角色的用户。

2. 安全可管理的数据服务总线作为数据服务使用入口，当用户访问数据服务时，服务总线将做用户的身份鉴定，通过后检查其访问权限，都通过后，才能使用该数据服务。

3. 通过访问数据服务屏蔽数据源，实现共享数据的安全授权，可以到表、字段、记录级的安全控制。

（2）如下是通过服务总线使用服务时的内部 SOAP XML

1. 包括了调用的用户信息（包括用户名和密码）、服务信息（提供者标识、服务类型、服务标识、服务业务句柄）。

2. 如果有报文、XML等输入数据时，包括了服务输入信息（类型：XML、String、RowsSet等）。

3. 如果是查询服务时，还包括了查询条件（变量名、查询条件）、返回值类型（ XML、String、RowsSet等）。

安全可管理的服务总线

通过安全可管理的数据服务总线，可以采用多种方式服务调度使用服务或者流程，包括：

• 菜单交互

• 定时

• 接口文件文件

• 接口表

• 消息队列

• 服务代理

• 流程

• 前处理（发送方、接收方、服务）

• 后处理（发送方、接收方、服务）

• shell

• API

• Web

• 其他事件

调度管理组件，主要包括可视化配置及监控、调度规则的管理及运行监控、调度策略、流程调度、基于总线调度件、集成调用能够服务等组成。

调度管理组件

（1）调度规则的管理及运行监控

1. 调度规则的管理及运行监控实现了对平台调度功能的集中管理，包括配置管理、运行监控、规则管理。配置管理实现了对任务配置、任务调度策略、人工干预任务的响应等。规则管理实现了对调度规则的管理，可以以XML对外开放。

2. 可视化配置和监控是调度管理的可视化操作界面，通过和调度管理交互实现对调度任务的配置、调度策略的定义、调度运行监控等。

（2）调度策略

调度策略模块实现了调度策略的管理，包括基于菜单的交互调度、定时调度、文件触发调度、文件分类调用、接口文件/接口表调用、分布式调用等。

1. 菜单生成器可以定义任务调度菜单，通过菜单可以交互调度，包括发起和终止任务等。

2. 可以在任务运行菜单上可视化定义定时调用任务，定义定时调度策略。

3. 通过可视化界面定义文件触发调度，方便满足某些给定的文件条件后触发调用任务。

4. 通过可视化界面定义文件分类调用，监控给定文件夹，根据给定的条件对文件夹下的文件分类调用不同的服务，同时将文件名等信息传递给被调用的服务使用。

5. 通过可视化界面定义接口文件/接口表调度，根据接口文件或者接口表的内容调用服务，同时将接口文件或者接口表中的数据以变量方式传递给被调用的服务。

6. 多种分布式调度策略，包括服务代理调度、文件传输前后处理调用、通讯队列绑定调用等。

7. 通过可视化界面定义服务代理调度，可以调用部署在另一个交换节点下的服务，触发该服务运行。

8. 通过可视化界面定义文件传输前后处理调用，可以定义发送方文件发送前处理调用、文件发送完成后处理调用，定义文件传输接收方接收前处理调用、文件接收完成后处理调用，方便文件传输和处理的联动。

9. 通过可视化界面定义通讯队列绑定，满足通讯环境下某个消息队列接收消息或者数据后触发调用相应的服务。

（3）流程调度

流程调度组件主要是为了满足复杂调度策略，通过可视化界面将要调度的服务（可以位于不同的交换节点上）组成流程，运行时按照给定的规则执行，支持并行处理、顺序执行、条件处理、意外处理等。流程本身也可以作为另一个流程的处理节点，方便实现流程的嵌套。

并行处理是指多个处理任务可以放到一个并行组中，组中的所有任务处理完成后再调用流程的下一个节点执行，并行处理既可以让组中的所有的任务并行运行，也可以根据硬件、网络等情况指定处理并发数。

当流程运行出意外时，可选择补偿运行、断点续运行、间隔检查运行等处理方式。

（4）基于总线的调度

数据服务总线也可以作为调度总线使用，调用方可以通过URL、API等方式通过总线调用服务，如下是通过服务总线使用服务时的相应的输入。

1. 包括了调用的用户信息（包括用户名和密码）、服务信息（提供者标识、服务类型、服务标识、服务业务句柄）。

2. 如果有报文、XML等输入数据时，包括了服务输入信息（类型：XML、String、RowsSet等）。

3. 如果是查询服务时，还包括了查询条件（变量名、查询条件）、返回值类型（ XML、String、RowsSet等）。

（5）集成调用服务

集成调用服务组件包括了被调用的数据交换和数据整合服务、数据传输服务，还包括了集成调用服务：shell脚本调用、SQL调用、调用URL等。

1. 操作系统的Shell脚本调用服务，实现通过可视化配置服务调用Shell脚本的功能，对于数据库的操作系统级的shell命令调用，提供安全策略保护用户名和密码等敏感信息。

2. SQL调度功能，通过可视化配置服务实现对SQL语句、存储过程、SQL函数的调用功能。

3. URL调度服务， 调用可视化配置的外部URL。

（6）后台支撑组件

后台管控组件提供可视化工具方便数据服务的管理，支持数据服务集中管控，主要包括配置管理、任务管理、安全管理、监控管理。

1. 配置管理提供统一的配置管理工具：在同一个工具内，可视化实现数据节点的管理、交换服务建模、数据加工建模、共享服务建模、数据质量的管理、服务目录管理、资源目录管理、运行及监控管理等。通过相应服务的可视化操作界面生成相应类型的服务模型，可以根据业务需要创建文件传输、ETL、数据交换和处理、数据质量、安全共享、流程等各类服务，并可以根据需要分类、编码形成服务目录，便于重用、编辑、安全授权等需要，提供服务创建、编辑、删除、部署、查看等功能。支持按单位、部门、业务分类管理，支持服务模型的一致性检查，支持团队分工协同开发等。

2. 任务管理：包括任务菜单树管理、调度管理、任务监控等功能。提供菜单生成器生成任务菜单树，方便人工交互调度管理，包括运行、终止任务等；调度管理提供任务调度功能，可以可视化配置定时、文件触发、服务代理调用、分布式调度、文件分类调度等策略。任务中心实现数据服务工厂和资源目录的一体化，可以通过资源目录查找到共享数据服务，经过申请、审批等流程后，通过服务控制中心得到授权的数据服务，进而通过数据服务平台进行数据的交换和共享。

3. 安全管理主要包括部门管理、用户管理、安全管理、角色管理、分级授权、安全审计、交换节点的安全认证等。提供统一的安全管理，实现对交换和共享数据的分级授权和访问控制、交换和共享服务的分级授权和访问控制、交换和共享资源目录的分级授权和访问控制，交换和共享服务的安全审计和身份鉴定等。

4. 监控管理对数据服务全流程监控管理，主要包括交换节点的监控、数据服务运行流程监控、运行统计等。

组织内部数据交换，同一单位内各信息系统数据将由各单位内部交换区内的交换节点进行交换共享，交换节点提供数据加解密管理，交换过程支持数据加密（支持SM2、SM4等国密算法加密）。

平台支持上下级单位数据交换，各部门跨层级数据交换先由内部交换节点将数据加密（支持SM2、SM4等国密算法加密）并交换至本单位前置机上的前置交换节点，交换完成后平台将对上下级单位进行单位认证、用户身份鉴定及访问权限验证，验证通过后本单位前置机的前置交换节点再将数据交换至上下级单位的前置机上的前置交换节点，再由上下级单位的前置机上的前置交换节点将数据交换至上下级单位的内部交换区，实现跨层级的数据交换共享。

平台提供基于前置机的数据交换，基于前置机的数据交换先由内部交换节点将单位内各信息系统数据加密（支持SM2、SM4等国密算法加密）并交换至前置机，交换完成后平台将对目标方单位进行单位认证、用户身份鉴定及访问权限验证，若验证通过，由前置机将数据对外共享，满足跨部门、跨网络的数据交换的需要。

“物理隔离”情况下的可靠交换，具体说明如下：

（1）存储各种异构系统的数据源（如各种数据库等）的各种字段类型（如数据库表的字符型、日期型、数字型、Blob、Clob、流类型等）数据的通用数据文件作为被隔离的两段网络的共享数据存储介质，文件本身支持SM2、SM4等国密算法加密。

（2）数据提供单位调用通过拖拉等可视化配置将异构数据源映射到通用文件的服务，该服务将指定的数据源如数据库表、文件等映射到共享文件夹的以表名开头的动态文件名的文件上，以保证每次调用生成不同的文件。

（3）传输服务将生成后的加密数据文件交换至前置机的共享存储介质（如光盘、硬盘等）中，支持设备访问权限管理，可通过可视化工具对各信息系统用户设置指定目录的访问权限。数据需求单位进行身份鉴定及访问权限验证，通过验证后数据需求单位可通过传输服务将共享存储介质（如光盘、硬盘等）中数据文件交换至内部交换区。

（4）按照约定数据需求方调用经可视化配置的文件分类服务，该服务监控共享存储介质（如光盘、硬盘等）下指定的文件目录，根据文件夹下文件名称的特点分别调用经可视化配置的文件到异构系统的映射加工处理服务，将文件内容装载到异构目标方，实现了物理隔离情况下的异构系统的数据传递。

（5）物理隔离情况下的数据交换采用基于共享文件的方式。共享文件能存储各种异构系统的数据源（如各种数据库等）的各种字段类型（如数据库表的字符型、日期型、数字型、Blob、Clob、流类型等）数据的通用数据文件作为被隔离的两段网络的共享数据存储介质。

 1）数据提供单位

1. 可视化配置异构源到数据文件、文件传输

2. 运行时完成异构源到数据文件

3. 文件名称动态编码等处理、文件传递

 2）数据需求单位

1. 可视化配置数据文件到异构数据目标

2. 根据文件名称编码调用不同数据文件到异构目标处理

3. 传输和加工过程可视化监控和管理。

联系我们

扫描二维码关注我们

微信：DaasCai

邮箱：ccjiu@163.com

QQ：3365722008

了解更多精彩内容

长按，识别二维码，关注我们吧！

数据工匠俱乐部

微信号：zgsjgjjlb

专注数据治理，推动大数据发展。