新闻

网易开源两款同传模型,延迟、准确率开源SOTA,快嘴也能实时翻译

1 分钟阅读
来源:zhidx.com
AI应用风向标(公众号:ZhidxcomAI) 作者|毕伟豪 编辑|漠影 智东西9月16日报道,在刚刚结束的网易有道AI Open Day发布会上,网易有道发布并开源了两款全新的 同传模型子曰4-R2T2和子曰4-T3PO ,两款模型均具备流式输出能力,可以提供极低时延、高流畅度的实时同传体验。 同时,网易有道发布并开源了 办公Agent应用LobsterAI的2.0版本 ,在开源项目兼容、团队共享等方面进行了升级,并全面兼容了OpenClaw2.0版本。 现场网易有道还发布了网易 首个AI原生语音Agent网易叭哥说 ,可以提供实时语音输入和翻译能力,支持100多种语言实时互译, 并宣布终身免费 。 数据方面,据网易有道CEO周枫现场披露,有道AI同传累计服务用户超过2500万,使用次数同比增长近一倍;口语学习产品Hi Echo用户突破1000万;办公Agent LobsterAI用户规模突破100万,活跃用户次日留存超过80%。 Hi Echo升级为了Agent口语私教,采用端到端全双工语音对话,能识别对话中的语气与情绪。 一、语音交互能力开源SOTA,超快语速稳定输出 本次发布会上,网易有道发布并开源了两款同传模型,其中子曰-R2T2是一款低延迟、高精度的真流式自动语音识别(ASR)模型。 该模型的平均延迟仅为200至600毫秒,在各类benchmark中,子曰4-R2T2的延迟和识别质量均达到了开源模型中的最先进水平(SOTA),和闭源模型相比也并不逊色。 该模型采用一套特殊的数据构建技术进行训练,包括稳定前缀数据、强制时间对齐数据和词元级音频分割。训练中还结合了最长稳