MaaS备份管理平台

2018-07-09 10:05:41 71

MaaS备份管理平台软件是云信达研发中心历时多年以来打磨的一款核心软件产品,涵盖了云信达在数据存储、数据保护、高性能网络通信、数据库系统、云平台、ETL等领域的技术积累。MaaS备份管理软件集成了云信达eCloud-HPC数据库云管平台、eCloud-DPA数据保护软件、eCloud-SafeStore存储保护软件、eCloud-HPS高性能云存储、eCloud-CDM云数据拷贝管理软件等多项软件的核心技术。




MaaS备份软件架构设计


数据管理专家


云信达MaaS是一款高效能的数据备份管理软件,该软件基于Medium as a Service(MaaS)介质即服务理念研发,通过磁盘介质挂载“即备份即恢复”的服务形式,快速完成文件系统、数据库、虚拟化等对象的Backup And Recover功能。此外,MaaS针对其他品牌的备份管理软件如NBU、EMC NetWorker、CommVault等可以实现无缝对接,并通过S3接口完成备份数据的归档上云,完美的替代了传统带库的归档功能。

Medium as a Service(MaaS),介质即服务也是SaaS模式的一种应用,但是其技术实现原理更像是Hardware as a Service。不同于SaaS软件即服务的技术理念,MaaS重新定义了Medium存储介质作为服务的体现形式。应对于各式各样的业务运行系统,无论是云平台虚拟化、静态资源服务器(缓存集群)亦或是数据库系统,软件程序运行的最根本的硬件载体即为存储介质。介质的类型可以是一块机械盘、闪存卡、物理/逻辑卷、条带分区等。

 

数据管理专家

 

MaaS技术体系的核心思想既是将任意软件程序以数据流的形式载入存储介质中,封装完成后的介质称之为Mosaic,其通过Medium Driven Engine介质驱动引擎映射给需要软件服务的设备对象。MaaS平台使用者可以根据自身需求定义任意形式的马赛克,通过TCP/IP或Infiniband网络在虚拟机、x86服务器以及传统UNIX小型机环境完成挂载使用。MaaS服务的技术载体即插即用灵活多变,颠覆了传统业务系统部署、扩容、备份的存在形式。帮助用户在保证生产系统数据安全的同时提高了数据的流转效率,优化了备份容灾流程。




MaaS备份软件功能模块


数据管理专家

MaaS Management管控平台:

负责平台内部备份工作节点、数据存储节点的纳管,规划备份策略、调度任务以及作业监控,针对已完成容灾备份的数据集合可自动实现容灾演练的作业配置;

 

Stroage Pool备份存储池:

MaaS备份平台自带的存储池功能,存储池自身可配置不同比例的数据冗余保护。存储池内部支持RAM、SSD、HDD三层存储分层功能,同时为介质驱动引擎提供基础物理卷设备。存储池内部实现了备份数据的额快照、重删、压缩以及归档功能;

 

Medium Driven Engine介质管理引擎:

介质驱动引擎是BC-MaaS的核心组件,其主要作用是完成存储介质的映射、路由适配、发送回收等功能。包含备份数据的马赛克介质通过存储驱动引擎挂载给任意的存储节点,备份数据通过客户端探针的激活可迅速完成业务数据恢复。

 

MaaS备份管理平台功能覆盖:

丨多元备份对象:针对File System、VM、DB、BigData等平台提供原生的备份接口;

自动备份合成:MaaS备份软件自动完成全量备份数据和增量备份数据的合成功能;

高效备份传输:唯一一款支持10GE、FC、Infiniband RDMA(56、100gb/s)备份通讯协议;

自动容灾演练:MaaS通过调度功能自动完成备份数据的容灾演练,简化流程无需人工干预;

跨平台兼容性:无缝对接友商备份软件,如NBU、Commvalut,代替磁带实现备份数据归档;

异步备份上云:通用S3存储接口实现备份数据归档上云,同时实现云端到本地一键恢复。

 


MaaS备份恢复流程优化

MaaS备份管理平台提供了针对企业核心应用场景的备份及数据保护功能,其基础硬件平台选用开放的x86服务器,通过MAAS介质驱动引擎灵活分配磁盘介质及备份空间,兼容了10GE、FC、Infiniband、S3等一系列存储通信接口。MaaS数据备份软件可以全面保障业务生产系统,实现了在任意灾难环境下生产数据的零丢失保护。多元化的接口支持一份数据在多平台上实现通源异构,在保护数据安全的前体现提供更多的业务拓展性。

 

数据管理专家

 

生产系统数据传统的备份方式存储重复多次的数据拷贝,为了保证系统的数据安全性通常还需要维护人员自行设置复杂的备份策略,例如定期全量备份、定时增量备份、日志备份等。频繁的数据备份、复制、拷贝造成了大量的带宽占用,数据繁忙的同时网络挤兑现象严重。在应付产品变更、升级、迭代的过程中还需要为生产数据创建各种类型的副本、测试环境、研发环境,以满足研发人员的数据使用需求。此外,为了应对系统的安全合规、保证稳定的容灾演练以及业务的续航,还需要通过生产环境创建更多数据备份副本。在传统的数据备份过程中生产核心数据副本重复备份次数多,备份文件存储空间浪费严重。

而通过MaaS备份管理软件可以轻松实现备份流程优化,用户可以轻松在MaaS管理界面上为生产系统从存储池中划分出定量用于数据备份的物理卷,MaaS存储驱动引擎可以自动完成物理卷向生产环境的挂载操作。客户端程序根据任务时间设定定时完成生产数据的备份工作,一切流程仅仅如同“插拔U盘”一样简单方便,这也是MaaS基于介质及服务的设计精髓体现。

 

数据管理专家

 

用户也无需为复杂的备份策略所烦恼,每天的备份操作MaaS会通过自定义的Catalog识别全量亦或增量备份,并且能在软件内部自动完成增量数据和全量备份文件的合成操作。当应付业务生产部门、审计部门、研发部门的数据使用需求时,MaaS通过介质服务功能将备份的数据生成不同时间片的数据快照,并且能直接挂载给目标服务器使用。应对于突发的系统故障,MaaS即可体现高效的数据恢复流程,只需通过MaaS数据恢复界面操作备份数据的介质挂载到目标服务器,即可实现业务系统的故障恢复。当备份数据超过使用生命周期后即可如同插拔磁盘一样轻松回收,不会造成额外的存储空间浪费。




MaaS备份永久增量合成

MaaS为数据备份场景设计了独立的备份方式,在备份过程中以原有格式抓取数据,用以保证恢复时即时拉起的便捷性。以Oracle数据库的备份场景为例,当MaaS完成第一次备份以后,之后的备份只抓取变化块数据。而全量数据与增量的备份数据在MaaS平台内部自动完成备份集合并,增量合成技术可以快速创建虚拟挂载点。全局重删功能提高磁盘空间利用率,通过SLA 架构管理数据的生命周期、工作流功能进行自动和排程的数据管理。此外,MaaS内部功能模块均通过RESTful API接口进行调用,开放和扩展平台对接其它系统方便快捷。

 

数据管理专家

 

在数据备份的过程中MaaS通过备份集的永久增量合成技术,大大减少了存储空间的额外开支,同时降低了数据备份过程中频繁发生的带宽挤兑。MaaS通过Global Manager进行集中管理,底层的存储池可以自动完成数据的重删压缩,方便在使用时快速进行Mount挂载并构建虚拟数据副本。自定义的快照技术轻松实现不同时间切片的数据克隆,一键化创建虚拟生产环境、一键化释放环境。MaaS备份永久增量合成技术在实际生产过程中,为用户的业务系统带来以下改观:

 

数据管理专家

 

1、更小的数据丢失量:

由于对生产环境影响很小,可以提供更频繁的备份,从而缩小RPO。 由于RPO可以达到分钟级,所以在很多场合可以替换传统的异步复制的容灾技术。


2、降低存储和备份容灾的成本:

单个数据副本可以满足多个业务需求(备份、容灾、开发测试等),提高了存储的使用效率,降低了存储和软件的成本,同时也降低了管理成本。


3、快速恢复:

数据副本是以原始格式方式存放在磁盘上的,可以直接挂载给服务器,所以恢复时间要远远少于传统技术恢复的时间。


4、简单的配置和管理:

基于策略的备份自动化和恢复流程的操作简单化,降低了传统方式的复杂度。


5、横向扩展:

通过软件定义的架构,实现所需存储空间和处理能力的横向扩展。


6、基于自服务的数据副本的分配:

CDM能削减分配的时间,加速开发测试的过程,比如QA,缩短产品交付周期。


7、基于自服务的虚拟克隆功能:

每个开发者都能分配到一个或多个数据库的完整副本,并且可以在几分钟内更新数据,即不需要存储管理员、也不需要系统管理员和DBA的参与,从而提高数据的质量和生产效率。


8、基于自服务的数据更新:

生产数据的改变能通过复制的方式在几分种内更新到数据副本上,从而让开发测试环境获得最新鲜的数据。

 



MaaS无缝对接轻松上云


数据管理专家

 

传统的数据备份场景中,用户通常会选择带库作为历史数据的永久归档方式,而随着当前IT系统的发展历程云平台已经得到了广泛应用,云存储也越来越多的应用到数据归档的场景中。云信达MaaS备份管理软件基于S3标准接口开发了无缝对接云存储的备份归档功能,与其他任何使用云存储类型的软件不同,MaaS通过反向代理的方式将云存储上的Bucket虚拟存储空间映射至备份服务器本地。执行备份操作期间就如同往服务器本地磁盘上录入数据一样方便,无缝对接轻松实现备份数据归档上云。

在产品研发期间云信达积极参与合作伙伴的云存储平台BC-Onest,通过一系列调试和大量对接工作,设计了一套独立的反向代理机制完成MaaS到BC-Onest的无缝对接。相较于其他平台的备份软件,MaaS在实现备份上云的同时可以轻松实现云存储上的备份数据在任意目标端轻松挂载拉起的恢复操作。在备份数据上云的同时实现了备份数据“云上点亮”,真正的无缝对接云平台不但是数据的存放更是业务上云的实现。

 

数据管理专家

 

通过部署BC-MaaS备份管理软件一步实现备份数据的归档上云、自动完成备份数据的可恢复性校验、定期自动容灾演练,其数据的处理流程如下:

1、数据库和文件系统数据通过MaaS管理软件备份至中间服务器亦存储节点;

2、中间服务器上部署的MaaS将每日的增量备份数据与历史存量备份自动完成合成;

3、MaaS底层存储池通过反向代理映射的方式将云存储的Bucket挂载至本地中间服务器;

4、备份数据通过MaaS自动透传至云存储平台完成数据归档,所有流程由策略自动控制;

5、通过备份上云代替了传统带库的归档功能,只需一条数据专线带宽即精简了系统配置;

5、MaaS软件同时可定期自动完成备份数据的可恢复性校验,自动完成容灾演练;

6、如发生系统性故障,MaaS可将云平台上数据直接挂载给任意节点完成系统恢复。

 


MaaS构建异地灾备中心


数据管理专家

 

MaaS 备份保护功能在设计上支持异地灾备中心以及双活数据中心建设,异地双活中心体系可以再存储、计算、网络三层不同的实现方式。除了三种不同层次的构建方式,MaaS还有一个功能优势是可直接在管理系统内对接BC-EBS分布式块存储系统,生产的归档备份数据以及非主中心的数据库系统所使用的存储可直接调用BC-EBS的块存储接口。异地中心的数据库的存储可通过软件内部存储池的数据自动分层和缓存\缓冲加速功能,备份软件存储池中的数据可以在空闲时间异步的向BC-EBS分布式云存储进行传递。

 

1、业务层实现:

通过操作系统的块变更记录或数据库系统本身的备份接口,将业务系统每日产生的数据同步或异步的方式备份到异地的数据中心;


2、网络层实现:

MaaS软件平台本身可直接调用BAY MICROSYSTEM Infiniband远距离传输设备,通过Infiniband RDMA协议将生产系统产生的实时数据推送到异地的数据中心节点,真正做到双主双活,实现业务系统的双数据中心服务;


3、存储层实现:

MaaS的存储池套件支持底层块设备直接复制到远端的存储节点,同时利用存储池的缓存加速机制可直接使用BC-EBS云存储作为底层冷数据存储。


数据管理专家

 

MaaS备份数据保护功能支持跨机房、跨地域、跨节点进行构建,不同节点之间可以通过运营商10GE专线或Infiniband远距离传输设备实现数据同步。在高带宽和低延时的环境中还支持RDMA协议进行计算节点的内存融合,从而实现了双数据中心双活业务体系。而存储层的逻辑数据副本支持不同数据中心节点的独立分布,不同数据中心优先访问本地存储节点及相应的数据副本。双中心均能支持读和写的业务同时进行,任何一个节点或中心出现故障都不会对业务体系造成任何影响。云信达凭借在网络通信领域的丰富技术积累,在MaaS备份管理平台内部集成了构建双数据中心以及异地灾备中心的所有功能元素,方便使用者轻松构建异地的生产保护环境。

丨支持存储层(存储节点)异地多活;

丨支持计算层异地多活,一主多备;

丨支持整个数据库系统在云平台重构;

丨支持全量及增量备份S3对象存储。

 

数据管理专家

 

 

MaaS功能特性还包括:

丨支持Windows、Linux、Unix等环境下传统文件系统备份;

支持系统环境异构,Unix平台文件及数据库备份恢复至Linux平台;

支持Oracle、Mysql、SQLServer等数据库全量、增量、合成备份;

支持同源异构备份接口,实现数据在不同系统之间的转换(如Oracle备份转储至Mongodb);

支持10GE万兆、FC光纤、Infiniband RDMA、S3等不同通讯协议;

支持海量小文件多通道、多线程并发备份技术,10GE网络环境平均备份速率高于700MB/S;

支持存储多路径技术实现高性能数据备份,测试单文件通过4xIB端口备份速率达20GB/S;

支持平台内部自建存储池,备份存储池内部自动完成数据自动热迁及冷热分层;

支持工作流编排功能,定期自动完成容灾演练、备份数据的可恢复性校验;

支持备份数据的增量合成,一次全备即可完成任意时间点数据恢复,定期生成全量数据快照;

支持挂载恢复功能,用于恢复的目标服务器无需分配额外存储空间,挂载即可完成业务续航;

支持虚拟数据库恢复功能,虚拟数据库通过负载重演实现不同颗粒度的溯源审计;

支持生产库发生数据变更时的增量数据备份实时同步至MaaS虚拟数据库中;

其他:带宽限速、开放数据源、备份转储、脱敏、SLA策略、日志审计、智能监控等。