昆仑万维Skywork o1:解锁强推理与自我反思,AI新里程碑?

   发布时间:2024-11-27 12:30 作者:杨凌霄

昆仑万维在人工智能领域迈出了重要一步,正式推出了其最新力作——「天工大模型4.0」o1版,命名为Skywork o1。这款模型以其独特的复杂思考推理能力,在国内首次实现了中文逻辑推理o1模型的突破。

Skywork o1不仅仅是对OpenAI o1模型的简单复现,它在模型输出中内嵌了思考、计划、反思等高级能力。经过标准评测集的验证,与普通模型相比,Skywork o1的推理能力显著提升,真正实现了通过思考和反思来增强推理能力的目标。昆仑万维团队通过独特的技术路线,成功将初始推理能力较弱的基座模型提升到了生态位的顶尖水平。

此次发布的Skywork o1系列包含三款模型,旨在满足不同用户的需求:

第一款是Skywork o1 Open,基于Llama 3.1 8B的开源模型,它在同生态位的开源模型中评测指标大幅提升,达到了SOTA水平,并成功解锁了许多轻量级模型无法完成的复杂数学任务。Skywork o1 Open的发布,将加速国内开源社区复现o1模型的进程。

第二款是Skywork o1 Lite,这款模型具备完整的思考能力,尤其在中文支持和推理速度上表现优异。在数学、中文逻辑和推理类问题上,Skywork o1 Lite展现出了出色的性能。

第三款是Skywork o1 Preview,作为本次发布的完整版推理模型,它配备了自研的线上推理算法,相比Skywork o1 Lite,拥有更多样和深入的思考过程,以及更完善和高质量的推理能力。

Skywork o1 Open在各项数学和代码指标上的表现均大幅提高,不仅超越了同生态位的Llama-3.1-8B模型,还解锁了诸如GPT 4o等较大量级模型无法完成的数学推理任务,如24点计算。这为推理模型在轻量级设备上的部署提供了新的可能性。

昆仑万维还开源了两个推理任务的Process Reward Model(PRM):Skywork o1 Open-PRM-1.5B和Skywork o1 Open-PRM-7B。与之前的开源PRM相比,Skywork o1 Open-PRM能够对模型回答中的每个步骤进行打分,而不仅仅是对整个回答进行评分。在大部分基准测试中,Skywork o1 Open-PRM-1.5B的表现接近或超过了8B的开源模型,而Skywork o1 Open-PRM-7B则接近或超过了10倍量级的模型。

Skywork o1在逻辑推理任务上性能的大幅提升,得益于昆仑万维自研的三阶段训练方案。首先,通过自研的多智能体体系构造高质量的分步思考、反思和验证数据,对基座模型进行继续预训练和监督微调。其次,研发了适配分步推理强化的Skywork o1 Process Reward Model(PRM),有效捕捉到复杂推理任务中间步骤和思考步骤对最终答案的影响。最后,基于自研的Q*线上推理算法,配合模型在线思考,寻找最佳推理路径。

Skywork o1模型展现出了多项亮点功能,包括模型思考和规划能力、自我反思能力和自我验证能力。在复杂问题分析、思考反思过程以及输出答案质量上,Skywork o1 Lite和Skywork o1 Preview线上版本均有大幅提升。例如,在面对难度较大的考研数学题时,Skywork o1 Preview能够一步步推理出正确结果。在解决比大小问题时,其思考过程严谨,逻辑清晰,准确得出正确答案,并给出了差值计算。

Skywork o1在中文逻辑问题思考中也展现出了反思能力,能够准确识别并纠正错误的读音,给出后续对话建议。在“算24点”游戏中,Skywork o1不仅给出了正确答案,还进行了自我验证,确认过程和答案符合命题要求。在竞赛数学、密码解密以及智力问答等复杂场景中,Skywork o1也表现出了优异的性能。

昆仑万维自2024年以来,持续在人工智能领域发力,陆续发布了「天工2.0」、「天工3.0」、「天工大模型4.0」4o版——Skywork 4o,以及此次的「天工大模型4.0」o1版(Skywork o1)。这些举措不仅贯彻了公司“All in AGI 与 AIGC”的战略,也是构建AI技术栈的重要一步。昆仑万维将继续秉持“实现通用人工智能,让每个人更好地塑造和表达自我”的使命,从模型层、应用层等全方位、多维度来构建公司的技术竞争力和生态矩阵。

 
 
更多>同类内容
全站最新
热门内容
本栏最新
 
智快科技微信账号
微信群

微信扫一扫
加微信拉群
电动汽车群
科技数码群