项目背景:测试

目前，省内各地政府部门和机构均建立起自己的信息化系统。但由于诸多因素的影响，即使同一地区的政府机构间也无法进行合理、有效的沟通。不同信息系统产生的数据形式不同，数据可能是存放于数据库、FTP服务器上的某些文本文件等等。

因此需要一个平台能使所有需要利用的但质量太差以及缺乏关联机制的数据结合为一个整体，担当信息桥梁。在客户接入端实现数据的自动提取与转换，同时支持手工录入与审核数据，数据使用权限等。它应该是一个为不同数据库、不同数据格式之间，进行数据交换而提供服务的平台，能解决企业、政府机构在不同信息库间信息数据无法自由转换的问题。

同和第三方数据交换平台是一个专注于数据处理的技术平台，它能通过自动+人工干预的方式实现异域数据的加工和关联，提供了丰富的数据导入、处理和应用方式，充分考虑多种应用场合，实现方便的定制功能，使得操作人员在数据处理层面上有多种多样的方式选择，可以根据不同数据来源和去向定制各异的数据导入、加工匹配与应用规则。最终得到用户要求的优质数据。下图为上述文字的解释。

功能综述

    1.数据采集

    通过任务定制的方式把原始数据导入此交换平台。数据导入的方式主要支持：数据库直连、FTP服务器获取文件，人工文件上传，人工数据录入。其中数据库直连可以支持ORACLE、MySQL、DB2等主流数据库；数据文件可以支持excel、csv、txt等。根据用户配置的频率，转换规则，把数据迁移到此交换平台，由平台自身数ORACLE数据库统一管理。此功能块主要实现了各种数据形式的统一转换，并且迁移到本交换平台。我们把此环节获得的数据叫做原始数据。

    2.数据加工

    用户可以针对已经导入平台的原始数据进行加工、与其他现有数据进行关联匹配。平台提供了多种规则让用户可以灵活定制出想要的最终数据。在自动加工未达到预期效果时可以进行人工干预，而且平台会记录和学习此次人工干预动作，在今后的自动加工中人性化处理。同时平台也提供了强大的模糊匹配功能，类似搜索引擎的模糊搜索。对无法确定是否精确匹配的数据建立模糊关系，让用户人为判断。

    3.数据应用

    我们对数据进行加工的目的也就是对成品数据进行利用。本功能模块为加工好的最终数据提供了各种应用渠道。包括了直接界面查询、excel数据导出、数据库外部推送、web服务接口暴露、RPC远程调用接口暴露等等。

    4.数据监控

    此功能模块对数据的生命周期有一个完全的监控作用。数据导入、加工任务进行的进度、详细执行情况在这里一目了然。

    5.综合查询

    此平台可以根据不同需求分布式多节点灵活部署，此功能模块相当一部分功能用于查看子节点连接情况以及数据加工处理情况。

    同时也提供了对平台使用人员的管理查询功能，如查询有哪些逾期未采集的数据单元。

    6.系统管理

    此模块主要提供了系统管理级别的功能，比如使用人员管理、岗位权限管理、菜单管理、平台系统初始化配置、服务器性能监控等。

技术体系

系统架构示意图：

典型应用

    2012年同和第三方数据交换平台在常州、徐州、扬州地税局试点应用，取得了满意的效果。目前已在江苏全省推广使用。