为助力疫情科学防控、保障复工复产安全有序,落实工作决策部署,各省均在结合疫情防控实际需要,积极利用新一代信息技术,建设相关平台,用于登记、核验个人基本信息和健康信息,支撑政府部门、用人单位、社区等综合判断个人健康风险等级,实现特殊时期动态健康认证,彻底改变了传统低效的“人肉”登记方式。
由于此类信息平台承载数据直接影响省内抗疫、防疫工作的正常开展,因此保证该平台数据安全性和服务的连续性至关重要。在某省“健康码”平台建设项目中,人大金仓通过异构数据同步软件Kingbase FlySync的实施,实现了对该平台上全省6500万人员相关业务数据的实时灾备,从而确保了平台数据的安全和服务的连续,为保障该省乃至全国人民的生命安全贡献了一份绵薄之力。
项目背景
客户推出的某省“健康码综合服务平台系统”(简称:某省“健康码”),覆盖了全省16地市约6500万的人员,是当地居住小区、工作园区楼宇以及各级行政服务中心、医疗机构等公共管理和服务场所的通行凭证。
该平台采用省、市分级建设模式。省级平台建设1个数据中心、4个应用平台、1个服务界面,一批场景应用。该项目于2020年12月底正式建成上线,随着平台监测逐渐成为防疫工作的主要手段以及新业务的不断整合,平台业务压力不断加大,系统整体的可用性提升日益迫切,平台省级数据中心灾备方案落地的需求不断提升。2021年3月,金仓异构数据同步软件Kingbase FlySync作为灾备方案的主要支撑产品上线使用,开启了基于KFS的Oracle双机异地灾备方案实践之路。
客户痛点
客户需要建设全量、实时的数据灾备库,以确保主服务环境故障时能迅速切换到灾备库,保障服务连续性,因此需要有专业产品能够完成主库到灾备库的实时同步,实现灾备库随时都是主库的一个全量数据副本,随时可以接管业务访问。其中几个需要解决的痛点如下:
多种业务混合平台上的单一业务同步
“健康码”服务平台的业务数据库承载了多个业务,涉及多种业务混合操作,但灾备库需要只接收“健康码”的数据。
异构平台间的数据同步
服务平台基于省内已有信息化基础,采用了Oracle数据库作为业务承载库,且主库为Oracle Dataguard集群,目标备库则为Oracle单机,需要对两个异构系统进行数据的实时同步。
表数据结构变化具有随机性
由于“健康码”项目在疫情突发背景下紧急开发上线,随着疫情防控状态的变化,应用服务还需进行新的开发以适应新场景需求,应用对外提供服务变化和自身代码开发优化操作并存,随之而来的频繁的数据表结构变化,为数据在不同库之间的同步带来挑战。
大业务量压力下的数据同步低时延保证
“健康码”承载了全省6500万人的疫情监测,平台日数据增量大,增量数据也需以秒级时延同步给灾备库。
平台高可用性要求同步工具具备高稳定性
“健康码”平台的稳定性和可用性直接关系到国计民生,数据同步工具作为主库和备库数据同步实现的唯一通道,其自身的稳定性直接关系到平台数据备份的可靠性。若连接通道频繁故障,无法保证灾备库实时保持与主库的一致,最终会造成灾备方案无效的后果。
业务的高连续性对于数据同步的平滑性要求
前期上层业务已运行多日,历史数据量庞大,同时面临临时灾备方案向正式灾备方案过渡,需确保在上层业务不停止对外服务的前提下,提供平滑上线方案,能完成上线时间节点前后历史数据和新的增量数据的平滑衔接,确保数据完整准确。
金仓方案
人大金仓采用金仓异构数据同步软件Kingbase FlySync,针对客户痛点,在兼容异构数据平台、实时增量数据同步、多类型语句同步、业务多粒度过滤、跨运营商网络、平滑上线等方面为用户提供了好用、放心的解决方案。
兼容异构数据平台
Kingbase FlySync可以实现不同结构的数据平台的连接,实现数据的互通。本项目中Kingbase FlySync连通了Oracle DataGuard集群与Oracle单机的数据交互,实现异构平台的数据同步。
实时增量数据同步
本项目采用了Oracle物理日志解析,该技术可实现高速日志解析能力,最高可达100M/s的解析速度,因此项目中的大规模业务压力,依然保证了实时解析。此外,Kingbase FlySync采用流水线式的传输作业机制,以及并行加载能力,全方位保证了数据同步的时效性。
多类语句同步
如前文描述,应用对外提供服务和自身代码开发优化操作并存,因此Kingbase FlySync同时提供了DML和DDL语句的同步能力,即可将业务运行产生的业务数据实时同步给灾备库,也可将因人为开发优化产生对数据表结构的修改操作也同步给了灾备库,满足项目的业务所需。
业务多粒度过滤
因服务的业务主库承载多种业务,Kingbase FlySync需要对该数据库上各类业务产生的数据均进行解析,并分析识别、过滤掉非“健康码”业务的相关数据,由此需对主库进行用户级、表级、语句级(DDL语句)过滤,从而将属于“健康码”的数据准确无差地同步给备库。
故障自恢复
Kingbase FlySync具备断点续传和自动重启、自动重连的能力,当外部发生故障后再次恢复时,Kingbase FlySync可以自行启动服务,并可以从故障点完成其后续数据同步工作。
平滑上线
客户首先自行识别切断原有灾备方案的数据断点,同时利用Kingbase FlySync的断点能力,在Kingbase FlySync中应用该断点信息,使其识别并从该断点进行后续产生数据的解析和同步,从而完成平滑切换,方案上线未对业务造成影响,并持续向公众提供服务。
跨运营商网络
处于网络级可靠性考虑,客户业务主库和灾备库分别部署在移动网络和电信网络的服务器上,但灾备需要业务主库和灾备库进行实时数据通信,因此Kingbase FlySync为了适应此类网络部署方式,提供了网络地址映射和转换能力,屏蔽了网络差异,最终实现了数据的实时同步。
此外,金仓提供了本地化实施运维服务,在应急保障环节,提供7*24专家级响应,确保了该项目的顺利上线。
实施成果
承载全省16地市6500万人员“健康码”业务数据的灾备,在该业务每日产生15G数据量,每日所需同步数据条数300万条的压力下,同步时延小于1s,保证了灾备库数据与主库实时一致。
系统从上线至今已稳定运行4个月,也将继续为“健康码”业务后续的稳定运行保驾护航。
针对客户典型需求,提供了针对性的Oracle的灾备方案,证明了金仓异构同步软件在基于Oracle等非金仓数据库数据集成方面的技术实力。此外金仓积极响应项目的服务需求,也得到了客户的肯定。
结语
“健康码”项目只是人大金仓成千上万个场景应用案例中的一个“缩影”,未来,人大金仓将继续紧密贴近应用所需,提供更丰富优质的解决方案,帮助客户解决各类场景下的数据存储与管理问题。
