新闻

谷歌联手Meta奇袭英伟达,开源TorchTPU,给PyTorch代码搬家

1 分钟阅读
来源:zhidx.com
智东西(公众号: zhidxcom ) 编译 | 杨京丽 编辑 | 李水青 智东西10月21日消息,今日,谷歌宣布 开源TorchTPU ,这是谷歌和Meta PyTorch团队共同开发的 原生TPU软件栈 ,开发者可以用较少代码改动,将现有PyTorch模型部署到谷歌TPU上。 据TechCrunch报道,目前多数AI应用运行在英伟达GPU上,谷歌此次开源,或许 试图打破 英伟达 在AI产业的主导地位 。 PyTorch是用于开发和训练AI模型的开源深度学习框架,由Facebook AI Research(现Meta AI)团队于2016年启动开发,并于2017年正式开源发布。如今,PyTorch已成为全球AI研究和应用开发中使用最广泛的框架之一,覆盖大语言模型、计算机视觉和生成式AI等领域。 围绕TorchTPU,谷歌还将TPU接入vLLM、SGLang、llm-d、TorchTitan、VeRL、Ray、Hugging Face和LiteRT等工具,覆盖 大模型训练、推理、强化学习、集群调度以及端侧部署 等场景。 谷歌称,基于TorchTPU的训练方案已在最多 8000颗Ironwood TPU上完成验证 ,在Qwen3-8B训练测试中实现最高 52% 的模型浮点运算利用率;在推理侧,印度AI模型公司Zenteiq.ai使用相关方案后,整体推理吞吐量 提升超过4倍 。 对于开发者而言,已有的PyTorch模型可以更容易迁移到TPU,常用的训练、推理和任务调度工具也能继续使用。开发者还可以根据模型规模、运行速度和成本,在TPU、GPU和CPU之间灵活选择。 开源地址: ht