AgentMemoryBench

AgentMemoryBench 是一个面向 Agent Memory 方法的可复现、可扩展、可审计评测框架。 它把不同 benchmark 的原始数据统一成可校验的数据模型，调用 memory method 写入和检索 记忆，由 framework reader 生成回答，再把 prediction、运行观测和 evaluator 结果保存为 可复算的标准实验产物。

GitHub 仓库：zzp-elio/AgentMemoryBench

当前第一优先用户是希望低门槛运行官方集成的实验使用者；第二类用户是希望把新 memory method 接入统一 benchmark 的研究者。

当前状态

当前主线只实现 conversation + QA task family：

Phase 1 目标与进展（2026-08-09）

Phase 1 范围是 5 个 benchmark × 10 个 method。 多模态字段已在 core 中保留，但当前阶段不主动运行多模态 benchmark。

Phase 1 的交付物是 5×10 smoke 矩阵（每格极小规模真实测试 + 成本 observation）， 不是全量实验。全量实验在预算获批后另启。

• 5 个 benchmark adapter 全部 frozen-v1；canonical、Gold Evidence Group、异常账、answer/judge

和 metric 资格均有稳定文档。

• 6 个 method 已完成五格真实 smoke 并冻结：LightMem、Mem0、MemoryOS、A-Mem、SimpleMem、MemOS。
• Letta/MemGPT、LangMem、EverOS 已完成 product-faithful adapter、五格 dossier、机器 smoke plan

与无 API 回归；Letta 首次真实 smoke 已到达 OpenCodeGo endpoint，但区域 opt-in 返回 403， 三家 B11 暂停在同一个外部账号门，不能标 frozen。

• Graphiti OSS v0.29.3 已通过 source/product M1，正在做产品运行时与 metric 资格审计；它于

2026-08-09 接替 source-unavailable 的 Supermemory，且不代表 Zep hosted product。

• 最新已记录的无 API 全量基线为 2078 passed, 3 deselected, 13 warnings, 29 subtests。

协议全文见 spec-protocol-v3.md， 逐家进度与恢复断点见 ws02.7。

关键约束

• 预算强约束：全量实验必须先有成本估算表并经导师批准；当前一切真实 run 均为极小

smoke。真实 API 调用须用户显式确认 method、benchmark、样本规模和 run_id。

• smoke 使用 .env 中 opencode_go_key/opencode_base_url/opencode_model_name 对应的