新闻

黄仁勋力挺开源AI后,英伟达甩出两大开源利器!输出速度快4倍、成本砍至1/3

1 分钟阅读
来源:zhidx.com
智东西 编译 | 茄子 编辑 | 程茜 智东西8月12日消息,昨日,英伟达发布开源大语言模型Nemotron 3.5 Lightning,以及面向Agent的开源智能路由库NeMo Switchyard。前者总参数量为300亿,推理时仅激活约30亿参数,输出速度最高达到同等规模模型的4倍;后者可以在多款模型之间自动分配任务,英伟达内部测试显示,其任务完成成本可降至全部使用Claude Opus 4.8时的1/3。 ▲Nemotron 3.5 Lightning和NeMo Switchyard开源(图源:Hugging Face、Github) Nemotron 3.5 Lightning是英伟达7月24日签署支持开源AI模型的联名公开信后,首次推出的开源模型。 英伟达创始人兼CEO黄仁勋称,Nemotron 3.5 Lightning适用于持续运行和长时间工作的Agent,并将其概括为“智能、快速、高效且开源”。 ▲黄仁勋转发Nemotron 3.5 Lightning发布消息(图源:X) 大模型测评机构Artificial Analysis对总参数量低于400亿的开放权重模型进行了比较。Nemotron 3.5 Lightning综合能力得分为24分,输出速度约为670 token/s,是图中唯一进入高速度、高得分区域的模型。 ▲Nemotron 3.5 Lightning在Artificial Analysis的评测结果(图源:X) 英伟达称,Nemotron 3.5 Lightning主要承担Agent执行长程任务时的工具调用、结果检查、格式整理和代码操作等高频工作。在技