共同作者在这里！我有点惊讶这篇文章能登上 HN 首页！这是一项由 Joseph 和我一起进行的项目，我们试图逆向工程 GPT-2 预测单词 'an' 的机制。通过在大量文本数据上进行训练，仅作为下一个词预测模型，大型语言模型就能如此有效地工作，这真是令人难以置信。我们知道图像模型如何通过卷积[1]来学习图像的特征，但 LLM 如何以及学到了什么仍然是一个黑箱。当我们深入研究驱动 LLM 的机制时，我们可能会更接近理解它们为何在某些方面表现得如此出色，以及为何在其他情况下可能造成灾难性后果（参见：过去一个月基于搜索的发展）。我发现尝试理解和逆向工程 LLM 是一件个人非常兴奋的事情。随着 LLM 在不久的将来变得更好，我确信我们对它们的理解也能跟上！[1] https://distill.pub/2020/circuits/zoom-in/
源讨论我们在GPT-2中发现了一个神经元原帖 169 条评论 · 导入时统计把你的经验，加入这段讨论。
你认为是否有可能用某些句子来‘最大化’一个神经元？与卷积相关的梯度上升技术有什么不同？
完整原文卷积是网络设计的一部分。 全连接网络会学会卷积吗？还是说卷积其实并不必要？
完整原文能否开发出一种“类型系统”来对神经网络权重进行分类？假设有一个自动驾驶系统，能够静态检查神经元具有“人”的类型、“不要撞到人”的类型等。如果将“an”的权重移植到另一个网络中，一种组件化的迁移学习方式，它的预测准确性是否仍然保持？如果神经网络可以由“类型”来组装，那么它们将更容易被信任。
完整原文我想请你对此发表一些看法（与这些“大语言模型”计划向前推进的程度相关）。 这是沃顿商学院教授Ethan Mollick在尝试新的必应聊天，看起来比ChatGPT先进得多（可能是基于GPT-4）。 他让必应写一些东西，要求使用库特·冯内古特的写作规则。 https://twitter.com/emollick/status/1626084142239649792 似乎很难解释为什么必应/GPT能根据这些规则生成一个受冯内古特启发的蛋糕故事，而没有在生成第一个词之前就规划好整个内容。 看起来这些模型内部发生的事情远不止于逐词的自回归生成。似乎提示（在这种情况下包括冯内古特的规则）被输入后，会创建一个复杂的内部状态，然后负责输出的连贯性和内容。事实是它需要…
完整原文你可能会对这篇论文感兴趣： https://arxiv.org/abs/2202.05262 定位和编辑GPT中的事实关联
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。