新闻
Arm发了个“挑模型神器”,针对硬件优化,能直观对比延迟和内存占用
1 分钟阅读
来源:zhidx.com
智东西 作者 | ZeR0 编辑 | 漠影 智东西9月9日报道,今日,在Arm Create开发者大会上,Arm推出 Arm AI Portal ,提供针对Arm优化的模型、代码、工作流和学习路径,让开发者与智能体都能便捷地在Arm计算平台范围内完成AI软件的发现、优化及部署。 无论是构建游戏、普通应用、智能体还是其他AI系统,开发者都能从中获得具体指导和可直接使用的开发资源。 开发者可以查找面向特定任务的预优化模型,获取性能与准确率数据,对比延迟、内存占用和模型规模,并访问代码示例及部署工作流。 这些数据能帮助开发者更快判断应该使用哪一种模型及对应的模型表现。 首批预优化模型包括 阿里巴巴通义千问、谷歌Gemma、Ultralytics YOLO ,支持的runtimes涵盖 ExecuTorch、LiteRT、ONNX-RT 。生态合作伙伴包括 阿里巴巴、树莓派及Ultralytics 。 经Arm优化的模型已实现显著性能提升: 采用单线程执行与混合量化配置,搭载Q8_0 talker与code predictor组合方案,Qwen3-TTS在vivo X300手机上通过第二代Arm可伸缩矩阵扩展(SME2)的加速,实现了超过 4倍 的速度提升。 Ultralytics YOLO26在vivo X300手机上依托SME2技术,单线程FP16相较FP32实现超 40% 性能提升;在树莓派5平台依托NEON技术,采用FP16与INT8混合量化方案,相比FP32同样实现超 40% 的性能提升。 AI Portal现已正式上线。面向智能体AI的资源已 开放预先体验 ,正式版本将于后