数据发布统一格式

并行重删技术是在多个不同的节点上构建指纹库，并将指纹并行分布于多个节点，采用内存级指纹库进行重删，所有指纹读写全部保存于内存中，从而提升指纹查询和处理效率，并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据，该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据，可以大幅度减少需要传输的数据量，从而极大地节省数据传输带宽，解决单点性能和存储空间压力。敏捷数据管理平台ADM可提高数据全生命周期的使用效率、降低成本，并保证数据使用安全。数据发布统一格式

l应用数据一致性保障ADM主要应用原生备份接口获取具有应用一致性保障的数据，如针对Oracle，利用OracleRMAN和归档日志来保障备份数据库数据的一致性；针对VMware虚拟化，利用VMwareSnapshot技术来保障备份虚拟机数据的一致性。l事务日志同步技术支持数据库的事务日志备份，事务日志是数据库中已发生的所有修改和执行每次修改的事务的一连串记录，事务日志备份可将数据恢复到精确的故障点。例如：Oracle支持归档日志备份和删除，MySQL数据库支持redo日志备份和删除等。l文件系统数据保护ADM支持备份非结构化的文件系统。支持全量备份和长久增量备份与全量快照合成，备份策略采用定时执行备份任务，恢复策略支持细粒度恢复，**小粒度为恢复单个文件。支持跨文件系统恢复，例如恢复到EXT3、EXT4、NTFS等文件系统。数据库备份策略ADM的数据远程复制主要解决数据全生命周期管理中数据传输流转的安全问题，实现数据安全跨域传输的目标。

敏捷数据管理平台（Agile Data Management）简称ADM，是采用基于CDM（副本数据管理）的数据库虚拟化技术，为企业上中下游数据的备份恢复、数据验证、敏感数据处理、分发交付提供的面向数据全生命周期的安全管理解决方案，在保证数据安全使用的同时，提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、敏感数据处理管理组成，实现了数据复制容灾、数据存储管理和数据流程管理，通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用，充分发挥了数据资产的潜在价值。

（1）国产化数据备份系统兼容性不足当前国产化数据保护系统对国产化数据库、文件、虚拟化平台、容器、云服务器等备份源类型兼容不***，适配过程中需要更多的时间进行功能稳定性验证。（2）数据备份恢复验证耗时耗力当前采用NetBackup等集中备份系统备份的数据需采用手动恢复数据，过程繁琐、重复度高、专业性强，耗费大量的时间和人力成本。（3）数据交付时间长不论是通过数据恢复还是数据拷贝来提供测试数据，需要几小时到几周的时间。（4）占用大量存储资源数以千计的数据副本占用大量存储资源，需要更多的维护成本。（5）数据版本回退困难开发、测试环境中，当完成一轮跑批测试或功能调试后，重置数据状态需要重新导入数据或重新恢复数据，回退数据产生的时间成本巨大。（6）数据安全风险真实数据被用于测试使用后无法及时回收和销毁，造成资源浪费，存在敏感信息泄露的安全风险。（7）敏感数据安全隐患生产数据库中存在着大量的敏感信息，传统的手工***效率低、仿真度差、***不完全，交付给测试环境后存在隐私泄漏的风险。ADM数据闭环式流转与安全管控，保证了全生命周期数据资产管理。

上讯敏捷数据管理平台适用场景：数据交付速度慢的开发测试部门企业通过交付生产数据辅助第三方业务决策，如开发/测试环境、统计分析、准业务系统环境搭建等，交付生产数据的方式是通过生成业务系统数据副本，而副本的准备通常需要几小时，甚至几天不等，严重拖延了项目进度。

备份数据的有效性验证效率低的运维部门，大部分企业对其**业务系统进行了数据备份，为了检验备份数据的有效性，以及满足相关法律法规的要求，企业对备份数据采取周期性的恢复验证；由于企业的业务系统繁多，而人员相对紧缺，验证工作需要大量重复性动作，成为企业当前面临的一大挑战。

数据副本分散存放难以管理的数据中心数据副本一旦被交付使用，就**存在于使用环境中，随着数据使用场景的日益增多，数据副本在非生产环境中逐渐累积，**分散的存放方式导致副本的辨识度不高，后续使用与销毁难度明显增大。同时，重复存放现象严重造成了存储资源的浪费。u隐私数据泄露风险高的用户无论是通过生产数据库导出，还是通过备份系统恢复，都能够直接获取到企业的**生产数据，其中包含企业内部机密数据和客户个人隐私信息，一旦发生泄露将带来严重后果，不仅影响企业的名誉，也会造成一定的经济损失。 ADM的副本数据管理功能通过远程数据复制保证测试数据的高可用性管理。丰富的数据源支持

ADM数据备份管理可对数据库实时备份，实现物理恢复或挂载恢复。数据发布统一格式

l分钟级挂载恢复技术ADM压缩保存源端数据库的数据，并保留时间线，方便恢复任意时间点数据。ADM备份的全量快照为原格式，无需格式转换和IO拷贝，可直接挂载到目标主机上快速拉起应用恢复，**技术采用自研的数据库虚拟化技术通过一份数据快照作为基础数据生成黄金副本，快速挂载恢复多个虚拟副本。挂载恢复的方式**缩短了数据恢复的时间，通常业务RTO时间由小时级甚至天级，缩短到分钟级；挂载恢复降低了数据恢复所占用的存储空间，*对新写入的数据计入资源占用；由于挂载恢复速度快增加了数据恢复演练的频率，提高了备份数据有效性验证的工作效率。数据发布统一格式