Audio is streamed directly from the publisher (dts-api.xiaoyuzhoufm.com) as published in their RSS feed. Play Podcasts does not host this file. Rights-holders can request removal through the copyright & takedown page.
Show Notes
Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。
今天的主题是：
SWE-PolyBench: A multi-language benchmark for repository level evaluation of coding agents
Summary
该论文介绍了 SWE-PolyBench，这是一个针对 代码代理 的 多语言基准测试，旨在弥补现有评估工具的局限性。它包含了 Java、JavaScript、TypeScript 和 Python 等多种语言的 2110 个实例，涵盖了 错误修复、功能添加和代码重构 等任务。通过评估领先的开源代码代理，研究发现当前代理在不同语言间的表现 不均衡，并且在处理 复杂问题 时面临挑战。此外，该工作还引入了基于 语法树分析 的新指标，以更全面地评估代码代理在理解和导航代码库方面的能力。
原文链接：https://arxiv.org/abs/2504.08703