随着大型模型如DeepSeek的广泛应用，如何高效利用这些模型成为了用户关注的焦点。随着未来更多模型和AI应用的落地，私有化部署的大模型需要实现高效且经济的运行，同时基于模型的AI应用也需要更加便于维护和管理。在此背景下，可演进的私有云InCloudOS 8.0推出了全新的云上AI解决方案，旨在帮助用户构建高效的知识库，实现多芯多模型的统一管理，并简化AI应用的运维过程，携手用户共同规划AI应用的未来。
InCloudOS 8.0的云上AI功能融合了多项先进技术，如自适应推理框架和内存池化，使得模型能够按需高效使用，大大降低了用户的初期投入成本。InCloudOS 8.0还定义了AI应用智能体的关键要素，使用户能够像管理虚拟机一样轻松地管理AI应用，实现了多模型和众多AI应用的统一融合管理。
在推理资源管理方面，InCloudOS 8.0提供了高效且可控的解决方案。它支持根据模型的不同层次定义相应的算力资源，并采用自适应最优推理框架，使推理过程速度提升十倍。同时，InCloudOS 8.0还创新性地支持NVMe内存池化技术，使得大参数模型即使在显存和内存容量有限的情况下也能高效运行。
据测试，本地NVMe的内存性能可达到标准内存的95%，这进一步提升了模型的运行效率。在元脑高性能PCIe互联算力与新一代处理器的支持下，InCloudOS 8.0的推理框架能够高效地在节点间调度任务并实现CPU推理性能的数十倍提升。
云智能体作为AI应用的最佳承载方式，使得用户能够像管理虚拟机一样轻松地管理AI应用。InCloudOS 8.0定义了云智能体的核心要素，包括虚拟机、裸机和PaaS服务承载的应用实例，模型库、知识库和推理框架承载的AI大脑，以及高效SDN网络组织的互联。这些要素共同构成了云智能体的管理基础，创建智能体的过程也是构建管理要素的过程。
InCloudOS 8.0通过知识库的分域分级，支持用户灵活地定义智能体所使用的模型，并配置应用承载的虚拟机或PaaS服务的规格。这使得用户能够轻松地管理数百个AI应用，就像管理虚拟机一样简单。
lnCloudOS 智能体管理界面
在AI智能化转型的过程中，传统应用与智能体将长期共存。浪潮云海坚持可演进的私有云理念，兼顾AI应用与传统应用的运维，并致力于充分利用和高效管理现有基础设施。InCloudOS 8.0的云上AI功能支持3节点部署，在AI智能化转型的过程中，浪潮云海的可演进私有云要求新旧应用、云智调度和新老设备实现统一，认为这是最佳的运维实践。
