• 王伟
  • 2026年9月1
  • 12.5万次浏览
  • 48条评论

蚂蚁把560B大模型开源了:MXFP4一刀切掉一半显存、4卡就能跑,但"百万上下文"先打个问号?

在9月30日发布时,社区的直接质疑是:免费体验只限于25.6万上下文,百万窗口需要付费后才能使用,开源更是被标记为“计划”——先吸引用户,再放出权重,这种顺序引发了部分人的不满。

10月15日,蚂蚁兑现了承诺:Ling-3.1-flash的权重正式开源,FP8检查点以MIT许可上架Hugging Face和ModelScope,同时仓库中提供了SGLang和vLLM的部署路径。

先看规格:560B的规模,25B的成本

Ling-3.1-flash是一种典型的“大参数、小激活”MoE模型:包含72层、512个路由专家,每个token仅激活8个,激活参数约为25B——占总参数的二十二分之一。采用混合线性架构,最高标称支持100万token上下文。

这个比例的目的很明确:推理成本跟随激活参数,能力上限跟随总参数。用25B的成本,借用560B的智能。上一代Ling-3.0-flash是124B/5B,这一代的这两个数字都翻了四五倍,并增加了混合推理模式。

部署策略:为何敢把专家压缩到4-bit

这次开源中最具技术含量的部分是一套混合量化方案:

策略的逻辑很清晰:512个路由专家占据了参数的主要部分,而MoE专家本身是稀疏激活的,对量化的敏感度相对较低,压缩到MXFP4后损失可控;dense层每个token都要经过,是模型的核心通道,保守地保留在block-FP8。两者结合,权重占用减少了45%,服务部署在官方测试配置中从8卡降至4卡。

需要提醒的是,官方自己也提到:实际显卡数量会随上下文长度、并发量和服务配置变化,4卡是在特定测试条件下的数字,不能直接作为采购参考。另一个社区已经发现的细节是:仓库中发布的配置max_position_embeddings为262,144,“百万上下文”目前只是模型卡目标栏中的内容——今天可以验证的是256K这一档。

跑分:官方榜单之外,听听实践者的说法

在第三方口径中,Artificial Analysis给出的智能指数为41,输出速度约为每秒210 token,评价是“在高频业务场景中智能与效率兼备”。Kilo Code上架价格:输入每百万token $0.30,输出每百万token $0.90,缓存读取每百万token $0.06——属于典型的执行层定价。

厂商自报的分数需要标注一个明显的注释:Terminal-Bench 4、SWE-bench Pro等成绩都是在百灵自家的LingCode框架上跑出来的——它基于开源编码智能体Pi改造,而LingCode本身尚未开源。用未开源的工具测试出的分数,别人暂时无法复现。

独立上手的反馈更加立体。在MindStudio的实测中,它在SQL调优上单点命中了影响最大的修复方案,单次SVG生成质量不错,模拟急救医疗问答结构完整;但在需要长链条工具调用的复杂Agent任务中——例如从Blender到Godot搭建一个完整的游戏管线——结果是“能跑完,但游戏是坏的”。低资源语言同样是其短板。

信号:开源战场在同一天撞车

10月15日这一天格外拥挤:英伟达开源了主打“始终在线”Agent的Nemotron 3.5 Super VL,阶跃星辰放出了600B的Step 5 Preview权重,蚂蚁开源了Ling-3.1-flash。三家在同一天出手,指向同一块阵地——能够部署在自有基础设施中的Agent执行层。

合理推测是,竞争的衡量单位正在从“跑分”转向“每卡每天能处理多少任务”。蚂蚁这张牌的优势很明显:医疗沟通、办公、研发等蚂蚁自身业务训练出的场景能力,加上一套从量化到长上下文并行的完整部署方案。但能否成功,取决于LingCode何时开源,以及4卡配置在实际业务并发下能否稳住。

公开资料的边界需说明:百万上下文是目标值而非当前配置,官方跑分无第三方复现,量化方案的精度损耗数据尚未随仓库公布。

权重已经就位。剩下的问题,开发者自己的任务会给出答案。

本文来自微信公众号“AI唱反调”,36氪经授权发布。

爱游戏体育专注爱游戏网站,为用户提供专业可靠的体验。

围绕爱游戏下载,爱游戏体育持续打磨更优质的服务。

爱游戏体育深耕爱游戏官网领域,用心服务每一位用户。