评价 agent，别忽略预算

一位 METR 博文合作者讨论 NanoGPT 实验时，提醒读者考虑潜在的数据污染、尚未达到平台期的模型，以及能力上限与固定成本下表现的区别。他建议把人与 agent 的表现放到预算曲线上比较，而不只看单次结果。

原文节选

“Cool post! I'm a co-author on a recent blog post from METR about the NanoGPT speed-run here [1]. I think it'd be of interest”

阅读完整原文