智谱技术团队近日宣布,其最新研发的文生图模型CogView3及CogView3-Plus-3B已正式开源,并已在“智谱清言”App上线。这一系列模型展现了强大的文本到图像的生成能力。
CogView3模型基于级联扩散机制,分为三阶段:首先生成512x512低分辨率图像,然后通过中继扩散过程实现2倍超分辨率,最终生成2048x2048高分辨率图像。
据官方介绍,CogView3在人工评估中表现卓越,比目前最先进的开源文本到图像扩散模型SDXL高出77.0%,且推理时间仅需SDXL的约十分之一。
而CogView3-Plus模型则在CogView3的基础上,引入了最新的DiT框架,采用Zero-SNR扩散噪声调度,并加入文本-图像联合注意力机制,进一步提升了整体性能。
CogView3及CogView3-Plus-3B的开源仓库地址分别为:https://github.com/THUDM/CogView3 和 https://huggingface.co/THUDM/CogView3-Plus-3B,同时在ModelScope平台也可获取:https://modelscope.cn/models/ZhipuAI/CogView3-Plus-3B