新闻
AgentLens：用于编码代理评估的生产评估轨迹审查
1 分钟阅读
来源：arXiv AI
arXiv:2607.06624v1 公告类型：新 摘要：我们推出 AgentLens，这是交互式代码代理的生产评估基准。大多数代码代理基准测试将运行次数减少到一位——任务通过了吗？ ——但实际使用这些代理的人会经历整个轨迹：代理如何遵循指令、使用其工具、验证自己的工作、从错误中恢复以及一路与他们交谈。 AgentLens 评估整个轨迹。它将形式验证（存在客观检查）与法学硕士编写的轨迹审查和并排比较相结合，以便每次运行都会产生一个可读的解释，解释为什么分数是这样的。这使得 AgentLens 很有用