研究 / Agent 评估
CLR-Bench 检查 Agent 学到规则,还是只会追加例外
来源事实:研究者提出 CLR-Bench 隐藏规则课程:每一关增加一条隐含规则,Agent 先从练习反馈获得正反例,再判断未见过的成员与相似非成员。论文构建了跨 10 个领域的 20 条规则链,并评估六种近期自我演化方法。作者报告称,在具备规则知识校准的模型设置下,这些方法提升有限;直接保留原始练习历史有时反而表现更好。另一个更强模型上的 ACE 与 Dynamic Cheatsheet 结果不同,达到 78% 准确率,显示结论依赖底座模型。
关注 / 采用证据:论文刚于今日列入 arXiv,已公开基准构造与实验数字;目前没有可核实的外部复现、后续引用或实际部署数据。
为什么值得看(编辑判断):不少 Agent 产品把持久记忆和自我改进当作能力卖点。该基准提醒,记住更多反馈不等于学会可迁移的规律;评估时应区分规则归纳、例外记忆和底座知识,并报告跨模型差异。