李飞飞团队s1模型揭秘:基于阿里Qwen,50美元云费用挑战AI推理巅峰?

   发布时间:2025-02-06 22:55 作者:唐云泽

近期,李飞飞研究团队宣布了一项引人注目的成就:他们成功以极低的云计算成本——不到50美元,训练出了一款名为s1的人工智能推理模型。该模型在数学解题与编程能力测试中,展现出了与业界顶尖模型,如OpenAI的o1和DeepSeek的R1相媲美的表现。

然而,这一成果很快引发了外界的质疑。有网友指出,s1模型并非完全从零开始训练,而是基于阿里云的通义千问(Qwen)模型进行了进一步开发。为了核实这一信息,新浪科技联系了阿里云方面,并得到了确认。

阿里云方面详细回应称,s1模型是以阿里通义千问Qwen2.5-32B-Instruct开源模型为基础,通过16块H100 GPU进行26分钟的监督微调后得到的。新模型s1-32B在数学及编码能力测试中,取得了与o1和R1等尖端模型相当的效果,甚至在解决竞赛数学问题上的表现,还超出了o1-preview模型27个百分点。

据了解,s1团队在创建该模型时,采用了“蒸馏”技术。这一技术的核心在于,通过训练模型来学习另一个已有人工智能模型的答案,从而提取其推理能力。s1的论文指出,他们使用了一种称为监督微调(SFT)的方法,利用相对较小的数据集来实施蒸馏。在SFT过程中,人工智能模型被明确指示在数据集中模仿特定的行为模式。

值得注意的是,s1模型是基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型、现成的免费模型进行开发的。为了训练s1,研究人员精心策划了一个包含1000个问题及其答案的数据集,同时还参考了谷歌Gemini 2.0 Flash Thinking Experimental为每个答案提供的“思考”过程。

此次s1模型的成功,不仅展示了低成本、高效率训练人工智能模型的潜力,也引发了业界对于模型微调与蒸馏技术的进一步关注。这一成果有望为人工智能领域的发展带来新的启示和动力。

 
 
更多>同类内容
全站最新
热门内容
本栏最新