概述
随着信息化建设的深入,政府部门和机构、各行各业或多或少均建立起自己的信息化系统,包括OA办公系统、门户网站CMS系统、工作流系统、其它业务系统等。系统越来越多,但是各个系统之间数据通信问题使各行各业无比头痛,有些系统开发阶段甚至没有考虑过会有外部系统与之数据交换,很多建设完成后的系统常常是自治的,异构的,数据可能存放于数据库、文本文件、XML文件,甚至普通文件中。因此也需要一种机制使不同时期建设的应用系统能有机地结合为一个整体。上述情况要求解决应用系统间数据和信息的互通、互用问题。
在数据交换方面,我公司经过一系列项目的实践,总结出了一套比较通用的数据交换解决方案,可以应用在不同类型的数据交换场景。
应用价值
性能好,大多数服务功能都基本控制在毫秒级响应;
安全性高,有效保证数据的安全性;
可自动完成数据的传送和复制;
异构数据源集成,支持所有JDBC数据源、各类文本文件和FTP服务器文件,并为各种WEB应用提供支持灵活的系统管理工具,友好的用户界面;
提供数据预处理和后处理接口,满足用户对数据处理灵活性的要求;
所有功能都提供编程接口,实现与其它系统的集成。
实现方案
从核心数据处理功能来讲,数据交换平台设计实现为一个数据ETL平台,ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。
该平台首先从定义好的外部数据源抽取(Extract)数据,然后经过转换(Transform)处理进入平台系统,最后通过一定的技术手段装载(Load)为可以直接应用的数据。整个软件系统采用面向服务的体系结构(SOA),使用JEE相关技术来实现;在数据库使用上采用ORACLE10g数据库进行物理数据的存储;各应用系统之间采用企业服务总线(ESB)相关技术来实现数据交换,以达到松耦合的方式,尽可能的减少系统之间的依赖程度。
应用案例
江苏省国地税信息共享系统:
长期以来,大力推进国税局、地税局联合办税服务,加快实施国税局、地税局服务资源整合和信息资源共享;加强信息采集和信息共享;严把数据采集关,保证各项数据及时、完整、准确;积极推进税务机关内部之间、国税局和地税局之间信息共享;努力推进与政府有关部门和相关社会组织信息共享,一直是税务部门的重点工作和努力方向。
江苏省国地税信息共享系统使用了同和通用数据交换解决方案,加上具体业务功能的定制,使得此系统解决了国地税信息资源共享难的问题。