没有提到Ollama使用起来大约要容易1000倍。Llama.cpp是一个很棒的项目，但它也是我用过的最不友好的软件之一。我认为该项目中没有人关心普通用户。我一开始使用Ollama，感觉很好。但后来我转到了llama.cpp，以获得更新的修复。我仍然使用Ollama来拉取和列出我的模型，因为它太容易了。然后我编写了自己的脚本来填充一个单独的硬链接缓存目录，这样llama-swap就可以将gguf加载到llama.cpp中。
源讨论停止使用Ollama原帖 207 条评论 · 导入时统计把你的经验，加入这段讨论。
没错。这篇博客文章指出列出的替代方案同样直观。它们并不是。如果你只需要一个聊天应用，那么当然有很多选项。但如果你想要一个与 OpenAI 兼容的 API 并带有模型管理，可访问性会迅速崩溃。 我欢迎任何建议，但这篇博客文章中提到的替代方案并不是。
完整原文> 没有提到 Ollama 要容易使用 1000 倍。 比什么更容易？ 我大约在三年前接触过 LM Studio（文章中提到的），那时我甚至还不知道 Ollama。那时它就已经更好了。
完整原文我花了大约两个小时尝试让 Ollama 的 Vulkan 加速工作，但没有成功（一半的模型不被支持并导致崩溃）。而使用 llama.cpp 的 Podman 容器只需 5 分钟即可启动并运行。
完整原文> 所以 llama-swap 可以加载 如果你还没看到的话，llama.cpp 现在有了路由模式，可以热插拔模型。我已经从 llama-swap 转过来，并且对它感到满意。
完整原文> 没有提到 Ollama 要容易用 1000 倍 我记得之前把上下文大小从默认的不可用的 2k 改为模型实际支持的更大数值，需要在 Ollama 中创建一个新的模型文件才能让更改持久化（另一个选择：在运行 ollama 之前设置一个环境变量；不过，如果你走这么底层的路线，为什么不去直接运行 llama.cpp 呢？）。这怎么更容易了？他们有改变吗？ 我记得有人抱怨模型 X 是“愚蠢的”，仅仅因为 Ollama 默认将上下文大小限制到一个荒谬的小数值。 我认为试图模仿 Docker 来做 Ollama 实际上让普通用户更难使用。而高级用户会更喜欢直接使用 llama.cpp。
完整原文虽然这对我来说影响不大，但 llama-cpp 要轻量得多，体积小了 10 倍。 Resumable 下载在 llama-cpp 中似乎工作得更好。 我喜欢内置的图形界面。 我先用了 ollama，说实话，llama-cpp 给我的体验更好。 也许随着时间的推移，我会发现 ollama 的好处，但用户多次强烈要求后仍无法关闭更新的功能让我卸载了它。Postman 的创伤后应激障碍是真实存在的。
完整原文Koboldcpp 是一个可执行文件，带有图形界面启动器和内置的网页界面。它还支持语音转文字、文字转语音、图像生成、嵌入、音乐创作等多种功能，开箱即用，并且可以在图形界面内下载和浏览 HF 模型。这非常容易使用。
完整原文你用过的最不友好的东西让我觉得你被宠坏了。：) 同意，ollama是一个不错的入门，但一旦超出它就开始变得麻烦了。
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。