人工智能技术的蓬勃发展正在深刻改变云计算的面貌,迫使云计算解决方案在性能、效率和成本效益方面不断进化。面对日益复杂的AI应用需求,云端工作负载的客户正在重新审视其基础设施选择,以匹配现代工作负载的多元化要求,这包括提升性能、降低成本,以及满足监管合规性和可持续发展目标。
在这一背景下,Arm与亚马逊云科技(AWS)的长期合作显得尤为重要,双方携手通过专用芯片和计算技术,推动云计算朝着更高性能、更高效和更可持续的方向发展。在AWS re:Invent 2024大会上,AWS展示了AWS Graviton4处理器的显著进步,为开发者和企业提供了释放云工作负载性能潜力的新途径。
AWS Graviton4处理器基于Arm Neoverse V2平台,相较于前代Graviton3,在计算性能上实现了30%的提升,核心数增加了50%,内存带宽提高了75%。这些技术飞跃使得AWS Graviton处理器在广泛的生态系统和客户中得到了应用。Neoverse V2平台融入了Armv9架构的新特性,包括增强的浮点和向量指令支持,以及SVE/SVE2、Bfloat16和INT8 MatMul等,为AI/机器学习(ML)和高性能计算(HPC)工作负载提供了卓越的性能。
今年早些时候,Arm推出了Arm Kleidi软件,与主流的AI框架和软件生态系统紧密合作,确保Arm平台能够为整个ML栈提供开箱即用的推理性能优化。这意味着开发者无需具备额外的Arm专业知识,就能轻松构建工作负载,从而加速了AI工作负载的普及。Arm已经展示了这些优化如何在AWS Graviton4上提升大语言模型(如Llama 3 70B和Llama 3.1 8B)的性能,显著提高了每秒生成的词元数和词元首次响应时间。
对于HPC工作负载,Graviton4相较于Graviton3E实现了显著的功能提升。每个核心的主内存带宽增加了16%,每个vCPU的L2缓存容量翻倍,这对于内存带宽受限的HPC应用至关重要。AWS在这些领域已经取得了显著优势,例如,在EDA工作负载方面,根据Arm工程团队的实际测试结果,Graviton4提供的RTL仿真工作负载性能比Graviton3高出37%。
随着越来越多的云计算用户将各种云工作负载迁移到AWS Graviton处理器上,其软件生态系统不断扩展。这不仅为客户带来了成本节省和性能提升,还有助于优化碳足迹和可持续发展。例如,基于Arm Neoverse的AWS Graviton3已经在多个领域取得了生态优势。
Arm在云计算的未来中扮演着关键角色,将继续支持AWS Graviton站在技术创新的前沿。Arm致力于加强软件生态系统,使开发者能够更轻松地在Arm平台上构建应用,并充分利用Arm计算平台所提供的卓越性能和效率。