如题，想问一下佬们公司都是怎么部署大模型的，非硬件层面，而是软件层面，像个人的我知道有ollama，LM Studio这些，但是用在生产环境就不那么靠谱了，然后现在我们公司用的是Xinference，能一键管理模型、下载模型、启动模型等等，还提供接口供外部调用，但是就是说基础的镜像就很大了，一个Xinference的基础镜像（不包含模型）都有20+G大小了，加上业务原因，需要给客户公司本地部署，这样传来传去感觉效率就很慢了，所以想问一下佬们公司层面的大模型部署方案都有啥 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/11 14:59:12