IR投资研究INVESTMENT RESEARCHPUBLIC EDITION · OPEN ACCESS
DAILY SIGNALS   /   每日新知

AI 创新雷达AI Innovation Radar

今天的研究信号聚焦一个常见 Agent 评估盲点:从反馈中“学会”规则,可能只是把每个例外记进越来越长的清单。新基准尝试把真正的归纳能力单独测出来。

本期 / EDITION 2026-11-02 · Monday · 发布 08:30 EST覆盖:纽约时间 11 月 1 日 08:30 至 11 月 2 日 08:30;论文、产品更新补看最近 7 天
THE SHORTLIST

今天值得看的信号Research · Agent evaluation

研究 / Agent 评估

CLR-Bench 检查 Agent 学到规则,还是只会追加例外

来源事实:研究者提出 CLR-Bench 隐藏规则课程:每一关增加一条隐含规则,Agent 先从练习反馈获得正反例,再判断未见过的成员与相似非成员。论文构建了跨 10 个领域的 20 条规则链,并评估六种近期自我演化方法。作者报告称,在具备规则知识校准的模型设置下,这些方法提升有限;直接保留原始练习历史有时反而表现更好。另一个更强模型上的 ACE 与 Dynamic Cheatsheet 结果不同,达到 78% 准确率,显示结论依赖底座模型。
关注 / 采用证据:论文刚于今日列入 arXiv,已公开基准构造与实验数字;目前没有可核实的外部复现、后续引用或实际部署数据。

为什么值得看(编辑判断):不少 Agent 产品把持久记忆和自我改进当作能力卖点。该基准提醒,记住更多反馈不等于学会可迁移的规律;评估时应区分规则归纳、例外记忆和底座知识,并报告跨模型差异。
WHAT TO WATCH NEXT

接下来观察Signals, not forecasts

基准与代码是否可复现

关注 CLR-Bench 的数据、评测脚本及其他团队能否重跑 20 条规则链,并验证校准知识后的结果。

记忆能力如何公平比较

后续评测是否同时公布底座模型、已有知识控制、历史记录策略与未见规则泛化成绩。