展开讨论

经验与复盘经验摘录 · 机器翻译

> 真正的生成式用户界面,其中模型生成应用程序的下一帧。我就是构建了这个东西……

> 真正的生成式用户界面,其中模型生成应用程序的下一帧。我上个月就构建了这个东西,演示地址:https://universal.oroborus.org(此演示在手机上不可用,但在平板或电脑上可以)。另请参见讨论和代码:http://github.com/snickell/universal 我本来今天并没有打算分享/发布它,但,干嘛不呢。我最初是用位图风格的生成图像模型开始的,但由于它们在文本方面仍然很糟糕(即使这个版本已经好很多了),对于2025年初,它现在生成的是矢量图形。每一帧都是一个LLM响应,以svg或静态html/css形式呈现。但所有的计算和转换都是由LLM完成的。没有作为中介的代码/js。你点击,它会告诉LLM你点击的位置,LLM会幻想出下一帧作为另一个svg/静态-html。如果它能快50倍,那将是一个绝对令人惊叹的演示。与“LLM写代码”不同,这个有深度。就像所有编程一样,“LLM写代码”模型要求程序员或LLM提前预见每一种情况。…

源讨论4o 图像生成原帖 599 条评论 · 导入时统计
3

这条内容在回应什么?

父级讨论 · 节选

BL

这种新型图像生成方式的重要性在于,它实际上是通过标记而不是扩散在像素空间中进行推理。 例如:让它画一个空白的井字棋,然后告诉它先走一步,然后你走一步,依此类推。 你也可以进行非常出色的保留信息的转换,比如改变绘画风格,也可以做像“把白天改成夜晚”或“给他戴帽子”之类的事情。 我觉得这些模型在分辨率方面受到很大限制,而在这个领域更多的工作将使我们能够真正做出一些疯狂的事情,比如让模型逐步创建一个应用程序,首先完全用图像来创建,基本上用文字和所有内容设计整个应用程序,然后编写代码来重现它。这也意味着一个模型可以接管一个非常优秀的扩散模型,所以即使原始生成器是扩散模型,它也能完成任务。…

完整原文

社区评论 0

还没有社区评论,来聊聊你的看法。

原讨论中的回复 3

仅展示本次导入中包含的直接回复。中文为机器翻译,可查看英文原文。

BL

这太棒了!我认为可以利用无限生成的用户界面构建新的体验类型。显然,需要良好的记忆能力,可能通过使用工具来实现。 如果你继续深入发展并自托管一个模型,你可能会通过推测解码实现更快的“帧率”,因为我想许多画面会重复使用上一次的内容。或者可能有一个领域特定语言(DSL),允许用少量文本进行大型操作。例如,如果它现在生成HTML/SVG,那么可以使用HAML/Slim/Pug:https://chatgpt.com/share/67e3a633-e834-8003-b301-7776f76e09...

完整原文
PI

太棒了,干得好!让我想起了https://arstechnica.com/information-technology/2022/12/opena...

完整原文
NU

我有点晚了 - 但我是OpenRouter的COO,很乐意提供一些额外的积分并分享这个项目。这非常酷,更多人可以尝试一下。给我发个邮件吧。我的邮箱是cc@OpenRouter.ai

完整原文
在 Hacker News 阅读

尊重不同观点,分享具体经验。

登录后即可发帖、评论、转发和引用。