……然后我开始进行测试并深入细节，发现如果你用相同的数据运行相同的报告，会得到完全不同但依然合理的结果。我可以让相同的数据通过评估过程10次，得到10个非常不同的结果。我们不得不放弃这个项目，换了一条路。大语言模型被设计成生成合理的结果，而不是事实性的结果。当我们用它们进行软件开发时，可以通过使用代码检查器和测试来解决这个问题（尽管我们都有过LLM编造API端点的经历）。在没有这种测试和验证能力的情况下，我不相信任何情况下原始的LLM输出。
源讨论我用了Claude Code来获取我对MRI的第二个意见原帖 715 条评论 · 导入时统计我通常会同时订阅多个LLM，还有一系列本地模型。 当我遇到超出我专业领域的问题时，我喜欢向我所能接触到的所有LLM提问。我还会创建单独的会话，以不同的方式提出相同的问题。 看到得到的许多不同且矛盾的答案，而且大多数都表现得非常自信，这很令人惊讶。 上一次我用Claude处理一个医学问题时，甚至在不同会话之间都得不到一致的答案。 同时，也很可怕的是，你很容易引导每个LLM得出你心中已有的答案。当我开始询问其他LLM提出的不同选项时，每个会话都会朝着那个解释方向偏移。
完整原文把你的经验，加入这段讨论。
linters 和测试当然有帮助，但它们无法“解决”这个问题，因为测试无法证明没有错误。
完整原文令人惊讶的是，有很多企业围绕LLM构建了流程，但还没有进行过这种练习，他们完全相信LLM给他们提供了准确的数据。
完整原文是的，我用LLM帮我编写脚本来处理数据，我不会让LLM直接处理数据本身。即使当我为我的日内交易编写东西时，我也让LLM编写执行所有处理并从其中预测价格走势的脚本。数据预处理得越多，所有LLM提出的交易就越相似。
完整原文LLMs被设计为生成合理的结果，而不是准确的结果。 它们的名字是准确的：语言模型。这在语言中是同样的问题：一个语法正确的句子不一定是真实的。
完整原文有趣的是，如果LLM每次给出的结果都相同（听起来是这样），你可能会认为它更可靠，尽管它可能只是更一致地给出一个错误的答案。
完整原文你可以设置“温度”，这是一个控制预测随机性的杠杆。如果你自己进行推理，这很明确且容易。如果你是在消耗令牌，这就会被外包了。
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。