在人工智能算力领域,百度智能云近期取得了重大突破,成功点亮了昆仑芯三代万卡集群,这标志着国内首个自研万卡集群的正式启用。据悉,百度智能云计划进一步扩大规模,点亮3万卡集群,此举将为百度自身的技术发展注入强劲动力,同时也为中国科技界、互联网行业及AI行业带来新的发展机遇。
万卡集群的建成,不仅为百度提供了前所未有的算力支持,还推动了模型降本的趋势。过去一年,大模型使用成本居高不下,算力紧张是其中的关键因素之一。百度通过自研芯片和大规模集群的建设,不仅解决了自身的算力瓶颈,也为整个行业提供了全新的解决方案和发展方向。
从算力角度来看,万卡集群的超大规模并行计算能力实现了训练效率的飞跃。它能够将千亿参数模型的训练周期大幅缩短,满足AI原生应用快速迭代的需求。同时,万卡集群还能支持更大规模的模型和复杂任务,以及多模态数据的处理,为Sora类应用的开发提供了坚实的基础。通过动态资源切分和多任务并发能力,万卡集群能够同时训练多个轻量化模型,并通过通信优化与容错机制减少算力浪费,实现训练成本的显著降低。
随着国产大模型的兴起,万卡集群逐渐从“单任务算力消耗”向“集群效能最大化”转变。通过模型优化、有效训练率提升和动态资源分配等手段,百度智能云实现了训练、微调、推理任务的智能调度和混合部署,从而提升了集群的综合利用率,降低了单位算力成本。
在万卡集群的建设过程中,百度百舸AI异构计算平台4.0发挥了至关重要的作用。该平台突破了硬件扩展性瓶颈,解决了卡间互联的拓扑限制和通信带宽问题。同时,针对万卡规模常规方案的高功耗问题,百度采用了创新性散热方案,有效解决了能效与散热难题。百舸平台还完善了模型的分布式训练优化,提升了主流开源模型的训练效率。在稳定性方面,百舸平台提供了容错与稳定性机制,保障了万卡集群的有效性。
百舸4.0还构建了十万卡级别的超大规模HPN高性能网络,针对跨地域通信中的高延迟问题进行了优化。通过优化的拓扑结构、多路径负载均衡策略及通信策略,百舸实现了几十公里的跨地域通信。在通信效率上,百舸采用了先进的拥塞控制算法和集合通信算法策略,实现了完全无阻塞的通信,并通过超高精度网络监控保障了网络的稳定性。
在多芯混训方面,百舸展现了出色的资源整合能力。它能够将不同地点、不同规模的异构算力进行统一管理,构建起多芯资源池。当业务提交工作负载时,百舸可自动进行芯片选型,选择性价比最高的芯片来运行任务,从而最大化地利用集群的剩余资源。这一能力使得万卡多芯混合训练效能高达95%。
在集群稳定性方面,百舸提供了全面的故障诊断手段。百度自研的BCCL能够快速定位故障并提供自动化的容错能力,将故障恢复时间从小时级降低到分钟级。这一能力极大地提高了集群的可靠性和可用性,为万卡集群的稳定运行提供了有力保障。
日前,花旗银行发布的研报指出,DeepSeek、百度等中国模型展现出高效和低成本优势,将有助于加速全球AI应用开发,并在全球范围内引发更多技术创新。中国工程院院士、清华大学计算机系教授郑纬民也表示,构建国产自主万卡系统虽然充满挑战,但具有至关重要的意义。