客户案例 | 政务数据中台建设项目
-
客户背景
根据国家和行业相关要求，某政府部门需要整合各部门相关标准规范，编制数据应用平台的数据规范体系，为数据服务提供接口标准，推动资源整合，统一管理数据集成与应用标准，提供数据管理工具，建设数据应用超市，为数据资源展示、预览、申请、审批、检索、统计提供统一应用门户。
业务挑战
1、数据种类繁多，存在汇聚难题
根据现有信息系统建设和数据应用状态，发现涉及8TB数据，2000+张数据表，几十亿条数据，每年按照30%的数据增长量，如何高效的实现同步的业务数据表和设置推送频率，是急需解决的难题。
2、数据孤岛、信息共享困难
多个不同的业务系统，存在数据孤岛，相关部门数据共享、交换需求不清晰，需要逐一与相关单位进行数据现状和共享模式、共享频率确认，组织30+个部门的相关汇聚数据的共享、质量检查和入池，统筹部门与部门之间、业务系统与业务系统间的数据共享。
3、缺乏统一的数据治理、管理规范
业务复杂，数据种类多，急需建立统一的数据资源接入服务管理系统，形成以数据汇聚、数据服务、数据监控、数据同步为核心能力的数据管理平台。需建立一套数据质量管理体系，在线管理数据标准、数据转换任务，实现数据资源的全域探查、读取、清洗、转换等功能，实现数据的接入清洗全流程管理和实时监控。
4、数据价值亟待挖掘，缺少对外统一服务平台。
为了进一步发挥数据价值，考虑建立一套数据应用超市系统，为数据展示、预览、资源申请、审批、资源检索、资源统计提供统一的应用门户，规范不同应用用户使用数据行为，提高服务效率，。
方案简介
针对客户需求，采用MemFire Platfrom平台按需创建多套MemFireDB数据库集群，采用以3节点的MemFireDB分布式数据库作为前置库，作为缓冲区，存储业务汇聚数据。采用4节点MemFireDB集群作为共享库，前者用来存储，后者用来存储经过清洗、汇聚的数据，最终发布成接口，供业务系统使用。
上述方案中，各个部门业务数据库通过特定频率同步到前置库MemFireDB。在原始库中进行数据缓冲，进行数据治理后形成“资源库”，在资源库中针对需要共享和服务的数据抽取存入“共享库”MemFireDB数据库集群中，“共享库”MemFireDB数据库通过资源目录形式在数据超市门户上统一对外提供服务。
采用MemFire Platfrom平台，可按需进行MemFireDB数据库的部署与交付。使用数据库RBAC机制，在数据采集源头进行分库，并授予各个业务方不同的访问权限，有效解决了数据汇聚安全性问题。MemFireDB可按需进行部署、扩展，数据副本存储，满足集群节点间的冗余，任意单节点宕机，业务正常可用。
客户收益
海量数据存储与共享
编制数据规范体系，海量数据实现汇聚、存储、共享，打破了数据孤岛，规范和统一管理数据集成和应用标准，建立数据治理和共享的技术体系。各业务系统数据进行汇聚、处理、清洗、存储，以形成统一的数据资源中心，再面向门户提供数据服务。
弹性伸缩，避免资源过度规划
使用MemFire PlatFrom平台，基于K8S实现数据库统一的部署与交付，可以按需创建、扩展、运维管理MemFireDB集群，灵活伸缩，从容应对该项目中业务数据的增长；
安全可靠
通过数据库MemFireDB的基于角色的访问控制机制，在数据采集源头进行分库，并授予各个业务方不同的访问权限，保证了数据的安全性。
全HA架构，多副本数据冗余，无单节点故障。在磁盘、节点、机架、区域故障的情况下，数据库系统提供持续的服务可用性。