面壁智能姚远：两年GPT-6级AI跑在手机上，现在点外卖订机票有点无聊

智东西 作者 | 江宇 编辑 | 云鹏 350亿参数的多模态大模型，在仅占用约3GB内存的情况下，已经能在手机上实现超过30 Token/s的生成速度。 智东西11月5日报道，今日，在面壁智能举行的端侧多模态大模型技术交流活动上，面壁智能联席首席科学家、清华大学人工智能学院助理教授 姚远 透露，团队通过最新一轮推理优化， 已将MiniCPM-V 4.7 35B-A3B在手机上的生成速度进一步提升至30 Token/s以上，模型精度损失几乎可以忽略。 一款总参数量达到350亿、每次推理仅激活约30亿参数的混合专家（MoE）模型，正在接近智能手机上较为流畅的实时交互速度。 此前，面壁智能已于10月13日发布并开源MiniCPM-V 4.7系列模型，包括35B-A3B和1B两个版本。 面壁智能联合创始人、首席科学家刘知远教授在现场提到，把大模型装进终端并不够，关键是让用户真正用起来。他认为，至少达到30 Token/s的生成速度，才能提供足够流畅的使用体验。 在随后的分享中，姚远及面壁智能多模态实验室核心成员余天予、蔡天驰，分别从端侧智能的发展趋势、模型能力密度和底层推理优化三个方面，介绍了团队的最新研究进展。 其中，作为分享重点的 前瞻专家调度（Lookahead Expert Scheduling，LES）技术 ，可以提前预测模型下一层需要调用哪些专家模块，在计算的同时从手机闪存读取权重，大幅减少模型推理过程中的等待时间。根据面壁智能公布的测试数据，这一方案能够在保持模型输出不变的情况下，将端侧MoE模型的 生成速度提升约5倍 。 在今天的活动现场，智东西还体验了搭载MiniCP