新闻

谷歌推出智能体视频理解功能:提升 Gemini 模型视频分析准确率,大幅降本减耗

1 分钟阅读
来源:ithome.com
IT之家 9 月 2 日消息,谷歌今日宣布在最新的 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中,推出 智能体视频理解(agentic video understanding) 功能。该新功能可提升视频分析准确率,同时大幅减少视频分析过程中的 Token 使用量和成本。 该功能使用标准 Gemini API Token 定价,不收取额外功能费用。 与现有“静态”处理方式(模型按固定帧率读取视频,默认 1 FPS,可通过 API 调整)不同,智能体视频理解将模型核心推理与原生视频工具结合,可在视觉帧、音频和转录文本中动态搜索、扫描和检查目标视频片段。 在标准视频分析基准测试中,搭载智能体视频理解的 Gemini 模型可将 分析成本降低最高 66% , Token 消耗量降低最高 88% ,同时将准确率提升最高 7%。这类效率提升在长视频场景中尤为明显,因为传统静态处理会让开发者不得不在高 Token 成本和丢失关键细节之间做取舍。 谷歌指出,Gemini 3.7 Flash 搭配智能体视频理解可实现最佳的整体质量,同时在质量和成本效率间达到最优平衡,在视频理解任务中,位于准确率与成本的帕累托最优前沿。 不同于静态处理中模型按固定帧率读取媒体流,智能体视频理解让 Gemini 可以主动、有目标地决定观看哪些内容、以何种速度观看、通过哪种模态(帧、音频或转录文本)获取信息,仅提取所需的片段和信号。此前开发者只能手动完成这类操作,而借助智能体视频理解,Gemini 可通过智能循环完成,调用内部工具加载视频相关部分,大幅减少开发工作量。