新闻

对话高通工程技术高级副总裁:HBC性价比优于HBM,2bit量化已与中国厂商合作

1 分钟阅读
来源:zhidx.com
智东西 作者 | ZeR0 编辑 | 漠影 智东西8月30日报道,本周,在高通美国圣迭戈总部,高通技术公司工程技术高级副总裁侯纪磊与智东西等媒体进行深入交流,围绕2bit量化瓶颈与应用潜力、高带宽计算(HBC)技术的优势及进展、端云协同的智能体体验如何实现等话题展开分享。 侯纪磊博士负责领导高通AI工程技术团队,这个部门包含研发、系统、商用软件、面向开发者的AI平台等若干团队,旨在保证强有力的端到端功能。 他谈道,AI研发与产品必须保持强耦合,两者之间需要形成一个“飞轮”,研发驱动产品、产品反哺研发,只有这样,整个体系才能有生命力。在AI领域,研发的意义不仅仅是做出一些炫酷的技术,更重要的是 推动产品快速落地 。 设备端模型需要在满足功耗和内存限制的前提下,追求更高推理性能。侯纪磊告诉智东西,高通在2bit量化感知训练(QAT)方案上走在行业前沿,已与部分中国厂商合作。在他看来,要解决2bit量化精度损失问题,关键在于用实际用例数据做匹配。 据他分享,高通内部做了一些评估,30B左右的模型在ARC-AGI-3等复杂基准测试上已表现得相当好。面向个人、家庭、私有化场景乃至一些小型企业,100B或以下的模型已经可以覆盖70%~80%的日常任务需求,剩余的复杂任务可以分配给云端处理。 提到高通对多家AI公司的收购,侯纪磊解释说,高通的大部分收购都是为了“ 差异补缺 ”,更多是考虑人才储备以及更好地在全球布局,被收购团队很快就会融入到高通完整体系之中。 此外,高通的一些端侧技术和其他技术储备,也将逐渐通过产品技术路线图的演进融合,形成更强的协同效应。 侯纪磊称,无论是目前的端侧推理平台