经验与复盘经验摘录 · 机器翻译
我曾经测试过这个，之后在模型发布后给了相同的任务，几周后又测试了一次
…我曾经测试过这个，之后在模型发布后给了相同的任务，几周后又测试了一次。第一次尝试时，它生成了一段写得很好的代码，运行得非常好，我开始担心软件工程师的工作。第二次尝试则是一场灾难，就像一个屠夫扮演初级开发人员在对一匹马进行手术。这是实证证据吗？而且这不仅仅是我的经历。称这为心理现象是洗脑。
源讨论Claude Opus 4.5原帖 506 条评论 · 导入时统计展开讨论
这条内容在回应什么？
对此行为有两种可能的解释：模型的nerf是真实的，或者存在一种感知/心理上的转变。 然而，存在基准测试。而我还没有看到任何实证证据表明某个模型版本在基准测试上的性能会随时间变差（一般来说）。 因此，两种情况的组合是正确的： 1. nerf是心理上的，而不是实际的。2. nerf是真实的，但以人类感知的方式存在，而不是基准测试。 对我来说，#1 在先验上更有可能，但如果你不倾向于相信这一点，你应该对#2感到非常好奇，因为它指向了我们如何总体上看待LLM能力的一种强大范式转变……这意味着我们至今为止无法在任何基准测试中捕捉到一个“x因素”。
完整原文社区评论 0
把你的经验，加入这段讨论。
原讨论中的回复 4
不，这完全是心理因素。 用户并不是可靠的模型评估者。恐怕这个行业必须一次又一次地学习并重新学习这个教训。
完整原文> 这是实证证据吗？ 好吧，我并不是在为大实验室辩护，我认为他们在很多方面都很糟糕。实际上，我对是否存在某种限制的说法持保留态度。 但你所描述的轶事就是非实证的定义。它完全是主观的，完全基于你的经验和主观判断。
完整原文https://en.wikipedia.org/wiki/Regression_toward_the_mean 其运作方式是： 1）x% 的用户由于偶然原因第一次体验非常出色。那些第一次体验一般的人不会再去尝试第二次。2）x²% 的用户也由于偶然原因第二次体验非常出色。3）所以很多第一次体验很好的用户会认为这个模型一开始就很出色，后来突然变差了。 假设有 25% 的用户第一次体验非常棒。这 25% 中有 25% 的人第二次体验也很好，但 75% 的人会看到质量突然下降，并认为这是有意为之。第三次体验后，这个群体又会变大。 因此，仅仅由于偶然和抽样偏差，你会说服很多人认为这个模型以前很好，但现在变差了，但真正认为它以前很糟糕但后来变好的人却少得多，因为大多数人早期就放弃了。 …
完整原文我认为这在心理学上很容易解释。 你第一次看到一只会做松饼的狗时，你会特别关注狗会做松饼这件事。 几周后，你开始注意到松饼其实有点过火，味道也不太好。当然，狗会做松饼确实令人印象深刻，但次品松饼有什么用呢？你自然会更关注它做不到的事情，而不是它能做到的事情。
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。