QingStor NeonSAN全闪数字化实践:生于云端的关键业务之选

  • 作者:zccc
  • 来源:网络
  • 2020-05-12 15:44:29

稳定可靠和高性能,是企业对存储产品的两个需求初衷,而随着企业的业务规模快速增长、场景应用逐步云化,传统SSD替换HDD的方式甚至是全闪阵列已难以应对业务扩展的需求,同时...

      稳定可靠和高性能,是企业对存储产品的两个需求初衷,而随着企业的业务规模快速增长、场景应用逐步云化,传统SSD替换HDD的方式甚至是全闪阵列已难以应对业务扩展的需求,同时有些系统在成本上碍于集中式的硬件设计居高不下,运维难度也相对较高。此时,一些厂商就将目光投向了分布式全闪架构,这也是青云QingCloud正在采用的做法。

      近年来,SSD成为存储行业新的增长驱动力,全闪部署已是大势所趋。相较于HDD,SSD的IOPS性能和低延迟有着质的提升,单盘容量受益于NAND颗粒成本降低,以及单盘NAND密度的增加,与市场上主流的HDD相比几乎相当。QingStor NeonSAN正式发布三年以来,已广泛服务于金融、能源、制造、医疗、传媒等行业,支撑了企业核心业务应用。由于采用了分布式架构和专为全闪设计的软件栈,使得其可扩展性、性能表现、部署成本均有优势,基于标准x86硬件和标准NVMe SSD盘的设计也让其有着很好的通用性。

      在IDC最新发布的《中国软件定义存储及超融合市场跟踪研究报告,2019Q4》中,青云QingCloud旗下QingStor企业级分布式存储和青立方超融合双双入围核心厂商。其中,QingStor NeonSAN连续两年入围,跻身软件定义块存储市场四强,并且带动QingStor企业级分布式存储近三年复合增长率超过600%。凭借高可靠、高可用、高性能的存储服务,诞生于全闪时代的QingStor NeonSAN已成为企业核心业务云化转型的首选。

      就像名称中的“Ne”元素一样,QingStor NeonSAN自设计之初就将稳定可靠视为立身之本,并且由于是完全基于SSD新介质设计的全闪架构和软件栈,可以最大程度发挥硬件的高性能。“青云QingCloud从起初做公有云开始,云硬盘就是软件定义存储技术的简单雏形。青云QingCloud做存储的理念,从一开始到现在都是和云紧密相连的。我们的产品更匹配云原生应用,适合在云上跑的分布式应用,对此QingStor NeonSAN有一些心得,在产品表现上也有自己明显的优势。”QingStor存储产品经理冯相东说。

      产品设计上,QingStor NeonSAN通过对数据、软件架构和硬件组网的高可靠设计,可靠性可以达到9个9。同时,单卷性能超过10万IOPS,三节点集群性能可达到100万IOPS以上,时延控制在90微秒的量级,单卷容量达到100TB以上。节点扩容方面,1个集群可扩展至4096节点,保证性能和容量随节点增加而线性增长。数据层、控制层、前端接口(为各种应用客户端使用),以及管理运维,共同组成了QingStor NeonSAN的核心模块组件。

      冯相东介绍称,QingStor NeonSAN从三个维度构建了稳定高可靠的架构。软件高可用方面,青云QingCloud梳理了I/O路径上的所有软件模块,在每一个关键软件模块上都做了高度冗余处理,每个处理I/O的模块会有3个以上的高可用模块同时承担任务,当其中任何模块发生异常或者硬件错误时,其他模块可以做接管。其中,ZooKeeper服务、元数据服务、管理服务、数据存储服务、接入服务等核心组件均冗余且高可用,并且可以自动切换。

      数据高可用方面,主要通过数据分片和多副本策略,提供了多副本间数据的强一致。“我们在做数据处理时,每写入一笔I/O,比如写入一个A,一定要在集群(例如三节点的集群)的每个节点上把这个A 100%确认完全写入后,才会对上层应用返回,通知这笔写入完成了。保证在写入数据时,写入到3个完全可靠,100%一致的副本上。这3个副本其中任意1个或者2个副本发生损坏时,还有可用数据给前端业务使用,不会对数据本身的可用性产生任何影响。读的时候,我们会选取3个副本中的1个副本作为主副本,以保证读的时候,整体效率达到最高。”冯相东说。

      硬件高可用方面,青云QingCloud采用多层冗余的硬件架构,比如最小规模是3节点集群,当任意一个节点宕掉时,其他节点可以正常提供业务。网络组网时,每个节点都有冗余的网口对外提供业务,其中任何一个网口发生故障时,该网口的业务流量会转到另一个正常的网口上,继续提供服务。在每个存储节点之间,数据交互有专门的存储网络,连接后端交换机。在存储网络的处理上,青云QingCloud会在每个节点上选取两个网口连接后端交换机,同样具备容错能力。

      除了高可用之外,性能表现同样关键。为此,青云QingCloud针对三个环节进行了深度处理。首先,在压力测试时可以让NVMe SSD的硬件性能达到80%甚至是90%,远高于同类开源产品的标准,在节点通讯上引入支持RDMA的网络技术,大幅降低节点间数据同步时延和CPU消耗;其次,块存储I/O从应用直接落到裸盘上,中间不会使用文件或对象存储作为中间格式,达到最简I/O路径,从客户端发送I/O请求开始,在NeonSAN只经过存储软件和SSD设备两步;此外,分布式存储架构的设计支持横向扩展,可以让性能和容量得到很好的线性扩容。

      QingStor NeonSAN的部署场景主要分为两种:作为后端各种云、虚拟化平台的数据盘,作为关系型数据库后端的块存储平台。同时,也会为物理机后端数据盘的资源池、大数据分析提供存储平台,以及为容器平台提供持久性存储方案。为此,QingStor NeonSAN为容器环境做了很多优化适配,不仅可以通过CSI插件对接原生Kubernetes平台和青云QingCloud的KubeSphere容器平台,还可以对接青云QingCloud分布式数据库RadonDB。

      目前,QingStor NeonSAN已覆盖主流的云及虚拟化平台,包括青云QingCloud、VMware、OpenStack、Hyper-V等等。例如,QingStor NeonSAN是VMware的技术合作伙伴,获得了VMware Storage ready认证,并且支持VMware VAAI-Block功能,可以为VMware虚拟机提供高级功能,使其直接调用存储端的高级特性,更高效地满足VMware虚拟化数据中心的存储需求。

      当然,使用QingStor NeonSAN替代传统存储并不是马上就可以承接全部核心业务,青云QingCloud为此构建了一套完整的方案,包括获取需求、引入利益相关者、了解环境的约束条件、测算数据库负载,调整迁移策略,以及后续的长期规划等,还对整套系统进行监控和调优。

      某保险集团在2015年获得互联网保险牌照,通过两年的运营其业务容量增长62倍,IT基础架构虚拟资源集群达到百倍提升,核心数据库的快速增长导致原有架构难以为继。切换到青云QingCloud后,客户的整体业务系统效率提升了100%,运维层面的改造周期从月缩短至天,横向扩容的特性使得增加存储节点就可以线性提升容量和性能。

      某省国电在进行ERP云化迁移时,原有的SAP版本较为老旧,CI+DI架构出现了不少问题,紧耦合的组件在扩容时非常不方便,而且一旦某一台服务器出现问题后,HA切换时间较长,对业务影响很大,响应也会受阻。对此,青云QingCloud从咨询开始,帮助客户在架构设计、业务迁移等方面都进行了重新构建,将原来的两个组件扩展到四个组件,使得HA切换时间从10分钟缩短至1分钟左右,同时避免了会话进程相互影响,保障业务的连续性,成本也得到大幅度降低。

      一直以来,华润创业都在使用青云QingCloud云平台,并借此将核心业务迁移上云,部署了应用级灾备。在架构升级时,华润创业直接接入QingStor NeonSAN分布式集群,然后对Oracle RAC业务进行改造,整个过程中仅涉及数据迁移,业务环境无需改造,只需在Oracle上添加QingStor NeonSAN共享盘,由NeonSAN自身机制提供数据迁移,大幅削减了工作量。

      在应用级容灾的架构设计上,青云QingCloud在华润创业的生产中心、灾备中心分别建立了两个zone(区域),由Global(全局)做统一管理。通过资源编排,将主区的业务架构快速复制到备区,同时管理数据会进行自动同步。核心业务部分,利用QingStor NeonSAN异步复制机制完成数据同步,通过异步复制网关将两边的数据进行同步,在云平台上结合QingStor NeonSAN提供灾备演练、切换、回切等功能,实现灾备的统一管理。

      重庆市勘测院希望构建一个高效可靠的存储平台,满足多节点大块数据读写,利用分布式存储系统保证后期业务顺滑扩容,存储系统能够适配多业务,实现简单运维。“这个项目是QingStor NeonSAN与VMware虚拟化平台连接的案例。”青云QingCloud资深解决方案架构师郑子尘说。

      升级改造之后,企业级分布式存储为客户的核心业务提供了高性能,保障其数据高可用,有效避免了传统SAN阵列纵向扩容的问题。借助分布式横向扩容,可以省去额外的数据迁移工作,使得扩容时间大幅缩短80%以上。通过企业级分布式存储方案,为后续其他业务向云计算架构转型奠定了基础。

      “青云QingCloud擅长做数字化转型整体解决方案的交付,从传统数据库一体机向x86平台迁移、SAP ERP等核心应用上云,包括构建灾备中心,支撑大数据、AI应用,支撑VMware虚拟化平台等等。我们可以提供端到端的核心业务云化方案,会跟客户做一对一咨询,设计适合的云化方案,将其核心业务做云化迁移。”郑子尘表示,“QingStor NeonSAN是真正可以承载核心业务的国产企业级分布式块存储。我们在案例里看到的都是企业的核心业务,最重要的数据库、ERP、业务系统,全部跑在QingStor NeonSAN上。”

  • 相关专题

免责声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,也不承认相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,请发送邮件至:operations@xinnet.com进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

相关文章

免费咨询获取折扣