> 我很想了解在使用代理构建有用产品时有哪些隐藏的挑战？对我来说，有一件事仍然很困惑，就是我们已经用机器学习构建产品有十年了，但现在在构建“AI”时，我们似乎抛弃了之前学到的所有经验。任何机器学习从业者在离开研究环境后都会意识到，对于大多数任务来说，准确性必须非常高才能产品化。你能用90%的准确率识别手写数字？听起来不错，但如果你需要将其转化为识别12位账户号码，那么至少有一个数字出错的概率就变成了70%。这意味着一个值得称道的数字分类器需要更高的准确率。去看看一些LLM的基准测试，即使在这些理想情况下，也很少有LLM的准确率超过90%。然后考虑你想要将这些调用串联起来，以创建合适的代理工作流程。…
源讨论Ask HN: 目前AI代理有哪些实际用例？原帖 149 条评论 · 导入时统计有很多初创公司/开源项目正在努力让大型语言模型为你做事，而不仅仅是完成你的文字。这些项目从简单的原子操作到网络爬虫，再到更广泛的雄心勃勃的助手不等。 这对我来说都很合理，我认为这是正确的方向。然而，一些这些项目/酷炫演示已经出现有一段时间了，但我还没有看到有人将代理作为其工作流程的核心/常规部分。 我想知道你是否经常使用这些代理，或者你是否认识有人这样做。或者如果你正在开发其中的一个，我很想了解在使用代理制作有用产品时有哪些隐藏的挑战？主要的瓶颈是什么？ 欢迎任何想法！
完整原文把你的经验，加入这段讨论。
我已经在使用一些AI工具，即使它们的准确性不是完美。 而一个只需要调用几个API的LLM并不难。 对于很多任务来说，不需要完美的准确性，而我们仍然有传统软件可以处理这些情况。
完整原文> 你能以90%的准确率进行手写数字识别？听起来不错，但如果你需要将其转化为识别12位账户号码，那么你至少有一个数字出错的概率现在变成了70%。 你假设失败的概率是独立的，这与事实相去甚远。如果一个数字识别器可以识别你的一些“困难”手写数字，比如4或9，它很可能也能识别所有这些数字。 AI代理也是如此。它们在某些任务上表现不佳，但在其他任务上却非常出色。
完整原文是的，这是一个很好的观点。 现在我很好奇，有哪些任务可以接受一个性能只有人类80%但成本却便宜100倍（或速度更快100倍）的模型？
完整原文> 任何机器学习从业者在脱离研究环境后最大的体会是，对于大多数任务来说，准确性必须非常高才能实现产品化。 我认为 ChatGPT 的成功可能部分归功于它的聊天界面。不管是什么原因，很多人——包括我！——在对话形式中对不一致、失误和不准确之处更加宽容。这有点像你可能会原谅一个真实的人在对话中犯的错误。 我不认为这一定是好事，可能与尝试在大型语言模型基础上构建非对话式产品的关系不大，但也许它对当前的情况有一定的解释力。
完整原文大型语言模型的一个有趣之处是它们实际上可以恢复（并且不会出现错误循环）。你可以有一个步骤没有正确执行，后续的步骤可以利用其常识知识来忽略一些缺失的结果、冲突的信息等。在使用大型语言模型进行开发时，一个问题是机器经常会掩盖错误！你以为它给出的结果不好，但实际上你给它的指令可能是冲突或不完整的。 另一个机会是你可以减少步骤或增加共享上下文。Whisper 的一个有趣之处在于，它不仅仅是直接的语音识别，还可以被提示并提供上下文，以了解语音可能涉及的内容，从而大大提高了准确性。大型语言模型的视觉模型也会对类似 OCR 的事物这样做。这可能不会帮助它识别账户号码中的单个数字，但它确实有帮助。…
完整原文任何机器学习从业者第一次意识到的是，准确性是大多数现实任务中最糟糕的性能指标，哈哈
完整原文这完美地描述了我做这件事的经历。我写了一些代码来处理相当复杂的网页注册流程，结果完全像你在评论中预测的那样。此外，我一直在与一些试图做同样事情的供应商合作，他们发现结果和你描述的一样。 手写的自动化程序表现得更好，问题是可以重复的，所以即使有问题，当你修复它们时也会有一些前进的方向。而把一切都交给代理的话，真的感觉像在原地打转。 我认为这里可能有一些东西，但并没有那么简单，只是把网页扔给 ChatGPT 然后碰运气。
完整原文你完全正确 - 但我觉得比最初预期的低准确率的情况更多，尤其是如果你假设有一个人在循环中。但总体来说还是比现状好10倍。 例如，内容生成加上零样本分类/映射功能非常强大，如果有人在循环中（某种程度上）负责准确性，它们可以更快地推进。
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。