预算为$30,000。我应该购买什么未来可靠的硬件（GPU集群）来训练和推理LLMs？是自己组建还是购买像SuperMicro这样的网站上的完整套件更好？
齐思GPT
2025-01-03 00:00:00
398
这个问题涉及到对机器学习和人工智能感兴趣的人们的实际关注：用30,000美元的预算建立一个GPU集群，用于训练和推断大型语言模型（LLMs）。作者正在寻求建议，是自行构建定制GPU集群还是购买预先构建的解决方案，重点关注未来性和对功耗和冷却的担忧。这个内容对于考虑投资于AI开发硬件的科技爱好者和专业人士可能特别有价值，他们正在寻找关于成本效益和可扩展解决方案的见解。对Mac Studio在这些用途上的限制的讨论为考虑因素增添了现实背景。
这个问题涉及到对机器学习和人工智能感兴趣的人们的实际关注：用30,000美元的预算建立一个GPU集群，用于训练和推断大型语言模型（LLMs）。作者正在寻求建议，是自行构建定制GPU集群还是购买预先构建的解决方案，重点关注未来性和对功耗和冷却的担忧。这个内容对于考虑投资于AI开发硬件的科技爱好者和专业人士可能特别有价值，他们正在寻找关于成本效益和可扩展解决方案的见解。对Mac Studio在这些用途上的限制的讨论为考虑因素增添了现实背景。如果您面临类似的决策或对组装用于AI任务的GPU集群的物流感兴趣，这个内容可能提供相关的观点。- 预算为30,000美元
- 需要购买未来可持续的硬件（GPU集群）来训练和推理LLMs
- 自己组建还是购买完整套件？
- Mac Studio价格为10,000美元，但不适合训练模型，推理速度慢
- 希望购买一组GPU集群，以便训练/微调模型和主要进行推理
- 未来可升级性很重要
- 功耗和散热可能是问题
- 想知道如何构建这样的GPU集群
版权声明：
创新中心创新赋能平台中，除来源为“创新中心”的文章外，其余转载文章均来自所标注的来源方，版权归原作者或来源方所有，且已获得相关授权，若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者，其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章，均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容，可填写
「投诉表单」进行举报，一经查实，本平台将立刻删除涉嫌侵权内容。
个人中心
个人信息
我的项目
产品服务
创业通介绍