为了将时延降低至微秒级别,技术人员首先将目光投向了传统机械硬盘。这种硬盘的平均时延可达4毫秒,相比之下,Flash介质则具有20微秒的极低时延。因此,新型的Flash存储介质和优化的存储引擎成为了技术革新的第一步。例如,华为云就推出了全新的存储引擎,不仅释放了存储介质的潜能,还显著降低了时延,提升了性能。
其次,优化硬件和数据中心架构是降低时延的另一个关键。通过简化网络和提高多核并发能力,软件和网络的时延也得到了极大的降低。这样一来,整个数据处理IO的时延可以稳定在50至100微秒之间。
此外,芯片技术的进步同样至关重要。华为公司凭借其在芯片领域的优势,推出了全系列自研芯片。这些芯片从计算、传输、存储和智能四个维度提升了数据处理的全流程。通过与架构的紧密配合,这些芯片不仅发挥了多核、低功耗等优势,还通过直接访问数据的方式,实现了极低时延的IO路径。
然而,技术再先进,也离不开算法的支持。无论是控制器、软件还是芯片,其核心技术的提升都离不开算法的积累。华为云正是将这些技术能力综合起来,实现了数据的实时处理。
再来看一个日常现象,无论是手机还是电脑,随着使用时间的增长,其运行速度往往都会变慢。那么,华为云是如何让数据存储越来越快呢?实际上,数据增加导致的存储介质碎片化和数据中心IO能力与业务需求不匹配是造成这一现象的主要原因。
华为云通过将人工智能技术融入分布式存储的全生命周期,实现了存储平台的自主调优和自我进化。AI的预测能力可以预判性能趋势,提前发现并处理问题,无需人工干预。这种全局优化让资源得到了最大化利用。
随着AI学习深入,训练数据的增加和训练精度的提升,系统能够更好地了解用户需求,自动进行快速调整。华为云明确了以“全闪存、全系列、+智能、全栈创新”为导向的All-Flash战略布局,引领存储技术从机械时代迈向电子时代。
基于这一战略,华为云推出的极速IO云硬盘,时延低至50至100微秒,带宽高达4GB/s,IOPS性能可达100万,满足了各类高性能应用的需求,成为主流云厂商中首家进入百微秒级别的云硬盘。这一创新,不仅提升了数据处理的速度,也为整个数据中心行业树立了新的标杆。
在数据中心里面,影响数据时延的原因主要来自两个层面,一个是经过整个网络传输时延,一个是存储本身介质的时延。目前这两个层面的时延都是毫秒级,这样情况下的5G应用、自动驾驶、AI等应用很难做到实时处理,如果要进入微秒时代,必须把这两段时延的瓶颈都打破。
首先,为了实现这“最后一公里”的百微秒级突破,平均时延达4毫秒的机械硬盘(7200转)成为了第一个被优化的对象。相比机械硬盘,Flash介质具有更强的性能和20μs的极低时延。同时华为云围绕介质上的能力,全新设计了先进的存储引擎,既充分释放介质的能力,降低时延和提升性能,又提高了存储介质的可靠性和增强了使用寿命。
第二,我们通过软硬件架构和数据中心架构的优化,实现了极简网络,也实现了多核免锁并发,使得软件的时延和网络的时延也降到了极低,所以整个数据处理IO从进来到出去,我们能实现50μs -100μs的稳定时延。”
第三,华为公司有一个很强的优势就是芯片,目前全系列自研芯片从“算、传、存、智”四个维度来增强数据处理全流程。芯片与架构的紧密配合,充分发挥了鲲鹏CPU在多核、低功耗等方面的优势;通过高性能智能网卡芯片、SSD存储控制芯片实现了数据的直接访问;结合昇腾AI芯片,让全栈软硬件联动创新,并首次实现云存储在芯片级的深度定制优化;实现通过网络芯片和SSD 存储卡控制芯片,把整个IO路径重构,做到极低时延。
当然说了这么多,个人第一感觉还是算法的重要性,不管是控制器、软件也好,芯片也好,里面很多核心技术其实都涉及算法,算法需要长期的积累,才能不断地逼近能力极限。华为云的优势就是把这些能力综合起来,做到了数据的实时处理。
存储越用越快?我们从当下的数据“越用越慢”谈起,大家知道不管是手机,还是电脑,用的时间越久,速度越慢。那么华为云是如何实现数据存储越来越快的呢?
首先我们来看一下当前的数据存储越用越慢的情况。随着数据的增加,存储介质碎片增多,包括企业的数据中心到云数据中心。随着时间地推移,用户访问数据越来越慢。造成这种原因很大程度上就是由于数据在数据中心的布局以及数据存储所提供IO能力跟企业业务要求不匹配。当数据量大,租户越来越多,相互之间也可能资源有争抢的,那这种情况就会加剧。
目前,华为云存储将人工智能技术融入分布式存储的全生命周期,智能识别用户业务模型,实现存储平台的自主调优和自我进化,让应用越用越快。华为云AI预测能力,可预判30天性能趋势,提前14天发现故障盘并自动隔离。AI控制的引入,可智能预测用户性能趋势,并根据用户提前配置的自动扩容等策略完成调整,免人工干预保障业务平稳。经过全局的数据进行优化,最大化地让全局的资源得到充分利用。
所以从客户的感受来讲,随着这种学习的深入,训练数目的增加,训练精度的提升,AI会越来越了解客户,让系统自动感知,而不是通过人工干预,可以做到快速系统调整来响应客户的需求。
华为云明确了以“全闪存、全系列、+智能、全栈创新”为导向的All-Flash战略布局,让AI加持的云存储逼近介质的极限,带领全系列存储逐步完成全闪存进化,带领云存储由机械时代迈入电子时代。而本次基于All-Flash战略推出的极速IO云硬盘,其时延低至50~100μs,并具有4GB/s带宽和高达100万IOPS性能,可满足结构化数据库、半结构化数据库和ELK分布式日志应用以及流处理等场景对性能的极致要求,也是主流云厂商中首家进入百微秒以内的云硬盘。