12月6日，AMD发布了MI300x。这实际上是他们进入AIA（AI加速器是新的GPU）市场的举措。上一代（MI250）显卡表现不错，但这次的新产品则远远超越了所有竞争对手。这些显卡拥有192GB的内存和非常出色的表现。一个机箱里有8块显卡。非常适合训练和推理。当然，我们都知道AMD的软件还需要改进，但我认为长期来看，这取决于Lisa。这让我想起了Mac和Windows的时代。如果NVIDIA在这一市场占据如此大的份额，那么我想努力将我的AI业务从单一的故障点中去中心化。因此，我一直在努力启动一项业务，尽可能多地购买这些芯片，并将它们作为裸金属租赁提供，甚至提供IPMI访问。这之前从未有人做过。通常这些AMD显卡会出现在超级计算机（如Frontier）中，或者只对少数人开放。Azure最近的产品正在跟上，但这只是一个大的云服务……我相信人们仍然会想要私有云。
源讨论分析师估计Nvidia拥有98%的数据中心GPU市场原帖 83 条评论 · 导入时统计把你的经验，加入这段讨论。
那太棒了！你在支持哪些重写工作，以便让这些程序能在ROCm或其它替代CUDA的平台上运行？
完整原文令人兴奋的消息。软件方面的情况如何？目前我们使用的是CUDA等技术。我们有很好的大型AMD Epyc处理器（1GB的缓存！），但使用Nvidia的GPU。Mi300x售价4万美元会很诱人，但考虑到需要进行的移植工作，很难证明其合理性。
完整原文>> 我们希望了解大家想要什么，并且能够足够灵活地根据您的需求定制采购。 我希望您不要成批购买这些芯片，这样我和其他人也能有机会拿到几个用于我们自己的个人项目。
完整原文“需要改进”是轻描淡写了。ROCm刚刚才支持Windows(!)，到目前为止，LLM和SD领域的人们都表示在Linux上使用ROCm非常麻烦，需要大量技巧和覆盖环境变量，而且存在很多错误，同时只支持极少数显卡——而CUDA几乎支持NVIDIA制造的每一种显卡，从笔记本GPU到数据中心计算卡。目前第三方软件方面的支持也非常有限。 “没有消费级硬件支持”听起来很愚蠢，但那些进入ML/AI领域、研究生等希望能够在自己已有的本地硬件上进行试验和开发/原型设计的人们。 你无法用ROCm做到这一点，因为它们只支持非常非常少的消费级显卡——而且奇怪的是，支持的显卡是高端和低端的混合，中间的都没有。 AMD在硬件方面也远远落后于…
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。