Navigation

    MemFireDB论坛

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups

    客户案例 | 政务数据中台建设项目

    MemFireDB介绍文章
    1
    1
    32
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • A
      admin last edited by admin

      客户背景

      根据国家和行业相关要求,某政府部门需要整合各部门相关标准规范,编制数据应用平台的数据规范体系,为数据服务提供接口标准,推动资源整合,统一管理数据集成与应用标准,提供数据管理工具,建设数据应用超市,为数据资源展示、预览、申请、审批、检索、统计提供统一应用门户。

      业务挑战

      1、数据种类繁多,存在汇聚难题

      根据现有信息系统建设和数据应用状态,发现涉及8TB数据,2000+张数据表,几十亿条数据,每年按照30%的数据增长量,如何高效的实现同步的业务数据表和设置推送频率,是急需解决的难题。

      2、数据孤岛、信息共享困难

      多个不同的业务系统,存在数据孤岛,相关部门数据共享、交换需求不清晰,需要逐一与相关单位进行数据现状和共享模式、共享频率确认,组织30+个部门的相关汇聚数据的共享、质量检查和入池,统筹部门与部门之间、业务系统与业务系统间的数据共享。

      3、缺乏统一的数据治理、管理规范

      业务复杂,数据种类多,急需建立统一的数据资源接入服务管理系统,形成以数据汇聚、数据服务、数据监控、数据同步为核心能力的数据管理平台。需建立一套数据质量管理体系,在线管理数据标准、数据转换任务,实现数据资源的全域探查、读取、清洗、转换等功能,实现数据的接入清洗全流程管理和实时监控。

      4、数据价值亟待挖掘,缺少对外统一服务平台。

      为了进一步发挥数据价值,考虑建立一套数据应用超市系统,为数据展示、预览、资源申请、审批、资源检索、资源统计提供统一的应用门户,规范不同应用用户使用数据行为,提高服务效率,。

      方案简介

      针对客户需求,采用MemFire Platfrom平台按需创建多套MemFireDB数据库集群,采用以3节点的MemFireDB分布式数据库作为前置库,作为缓冲区,存储业务汇聚数据。采用4节点MemFireDB集群作为共享库,前者用来存储,后者用来存储经过清洗、汇聚的数据,最终发布成接口,供业务系统使用。

      3.png

      上述方案中,各个部门业务数据库通过特定频率同步到前置库MemFireDB。在原始库中进行数据缓冲,进行数据治理后形成“资源库”,在资源库中针对需要共享和服务的数据抽取存入“共享库”MemFireDB数据库集群中,“共享库”MemFireDB数据库通过资源目录形式在数据超市门户上统一对外提供服务。

      采用MemFire Platfrom平台,可按需进行MemFireDB数据库的部署与交付。使用数据库RBAC机制,在数据采集源头进行分库,并授予各个业务方不同的访问权限,有效解决了数据汇聚安全性问题。MemFireDB可按需进行部署、扩展,数据副本存储,满足集群节点间的冗余,任意单节点宕机,业务正常可用。

      客户收益

      海量数据存储与共享

      编制数据规范体系,海量数据实现汇聚、存储、共享,打破了数据孤岛,规范和统一管理数据集成和应用标准,建立数据治理和共享的技术体系。各业务系统数据进行汇聚、处理、清洗、存储,以形成统一的数据资源中心,再面向门户提供数据服务。

      弹性伸缩,避免资源过度规划

      使用MemFire PlatFrom平台,基于K8S实现数据库统一的部署与交付,可以按需创建、扩展、运维管理MemFireDB集群,灵活伸缩,从容应对该项目中业务数据的增长;

      安全可靠

      通过数据库MemFireDB的基于角色的访问控制机制,在数据采集源头进行分库,并授予各个业务方不同的访问权限,保证了数据的安全性。

      全HA架构,多副本数据冗余,无单节点故障。在磁盘、节点、机架、区域故障的情况下,数据库系统提供持续的服务可用性。

      1 Reply Last reply Reply Quote 1
      • First post
        Last post