在近日举办的AICon全球人工智能开发与应用大会(北京站2024)上,英博数科的首席技术官李少鹏隆重推介了多款名为“英博云”的智能计算产品与服务。据悉,英博云业务覆盖智算中心的建设与维护、GPU容器服务、先进算力实验室以及产业孵化器四大核心领域,致力于提供高效、多元化的GPU智能计算解决方案,助力企业加速AI技术的研发与业务拓展。
智算行业正在经历从规模化扩张向精细化运营的转型,展现出三大显著趋势。首先,全球范围内通用大模型的训练对算力的需求急剧增加,集群规模已从千卡级跃升至万卡乃至十万卡级,成为推动大模型技术不断突破的关键支撑。其次,随着AI在垂直行业的广泛应用,各行业对算力的需求变得更加分散且多变。从科研、金融到娱乐、零售,各领域企业迫切需要灵活且可伸缩的算力支持,以满足多样化应用场景的需求。最后,在AI商业化进程加速的背景下,推理场景对算力的需求迅速增长,逐渐超越了训练算力的需求,成为市场发展的主要驱动力。
然而,高昂的算力成本已成为制约大模型技术发展和应用普及的主要瓶颈。当前,算力行业缺乏有效的成本效益评估体系,难以准确衡量实际算力的利用效率。对此,英博数科创造性地提出了“单位有效算力成本”这一评价体系及相应的计算公式,为行业树立了新的评价标准。该评价体系不再以装机算力、设备成本、机电成本和运维成本等固定支出为核心,而是将评价重点转向实际效益。通过引入“卡可用率”、“卡利用率”和“模型算力利用率(MFU)”三大关键指标,这一创新体系能够精确衡量实际算力的利用水平,有效避免了算力资源闲置、设备故障频发以及整体利用率低下等行业痛点导致的评估误差,提升了算力效率和效益评价的准确性。
英博云的亮相,标志着高效益、多样化的智算产品新范式的诞生。为响应智算行业的发展趋势,英博云提供了一系列高效益、多元化的GPU智算产品及服务,全面覆盖智算中心的建设与维护、GPU容器服务、先进算力实验室和产业孵化器四大领域,为企业加速AI技术研发与业务创新提供强有力的支持。
针对通用大模型集中式、大规模训练的需求,英博云凭借其丰富的智算中心交付经验,能够为客户提供一整套标准化、模块化的智算中心建设与维护解决方案。其自主研发的高性能并行存储解决方案、专业的硬件测评与检测体系以及精细化的集群监控和自动化故障恢复体系,不仅能够提供高硬件稳定性的集群,还能提升集群的可用性。依托成熟的算力调度平台,英博云还支持通过容器化形式为长尾客户提供高效、可伸缩的算力服务,满足不同规模和需求的用户。
英博数科的智算中心建设与维护解决方案已在京能项目成功落地。英博数科在智算中心建设与维护方面的独特优势,成为推动项目持续进展的关键力量。在供应链方面,英博数科整合资源与众多供应商合作确保稳定供应;在集群运维组网方面,从选型到建设交付都遵循高标准规范与专业保障,推动项目进展。未来,英博数科有望与更多智算中心项目合作,助力产业发展。
面对垂类大模型分散、动态的训练需求,英博云为中小企业提供高效、灵活的GPU容器服务。通过Vcluster形式,英博云提供GPU和CPU资源混合的弹性K8S集群服务,满足大模型并行训练的工程需求。同时,英博云支持SSH和Kubectl管理操作,为用户提供灵活便捷的体验。秒级别的容器启停和计费粒度,以及企业级的并行存储服务,使其能够提升GPU资源的使用效率、降低使用成本,并支持容器数据的持久化和模型数据的高速共享。英博云还提供内网预定义场景镜像仓库、常用模型库、常用数据集等数据源服务,有效提高数据准备和环境配置的效率。截至目前,除了京能集团、百川智能、无问芯穹、潞晨科技等知名企业,英博云还为众多中小企业、权威学府、科研院所的垂类大模型需求提供弹性、灵活的算力产品与服务,共同构建AI产业链的合作生态。
先进算力实验室致力于成为业界顶尖的算力性能评测中心,围绕硬件评测、软件评测以及行业服务展开工作,为企业算力基础设施的升级与优化提供前瞻、可行的建议,助力提升算力效率和业务表现。在硬件评测方面,对GPU、交换机、光模块、并行存储等进行严格测试,确保设备性能符合高标准;在软件评测方面,涵盖基座模型、训练框架、微调框架、推理框架等,为智能算力的优化提供全方位支持。通过提供行业标准制定和定制化服务,先进算力实验室助力企业在智能算力领域不断创新突破,并已开展工业界主流GPU芯片的测试。
产业孵化器通过联合AI产业链上下游企业,探索算力组合投资的新模式,挖掘AI产业的潜在方向,赋能企业实现技术研发与业务扩展的双重突破。
英博云系列智算产品与服务的发布,不仅展示了英博数科在智能算力领域的技术实力与产品优势,也为行业发展注入了新的活力。通过创新的评估体系与多元化的解决方案,英博云正引领行业迈向高效益、多样化和可持续发展的新阶段。