最新 思锐云官网上线:五款自研产品与参考定价全面公开 了解详情 →

内网 GPU 集群的大模型权重分发与推理上线

AI 基础设施 适用对象:私有化部署大模型的 AI 平台团队 相关产品:dlmodel

在网络受限的 GPU 服务器上稳定拉取 ModelScope / Hugging Face 权重,断线续传、校验落盘,完成后直接交给 vLLM / Ollama 推理。

场景挑战

  • 大模型权重动辄几十 GB,内网或受限网络下载经常中断,需要反复重试。
  • 多个模型、多个版本排队下载,进度不可见,完成与失败都要人盯。
  • 下载目录布局与推理服务不一致,还要手工整理。

解决方案

在 GPU 服务器上部署 dlmodel:

  • 多源回退:自动源先探测魔搭、再回落 HF 镜像,aria2 多连接下载,失败逐级降级为 HTTP 断点续传与原生 SDK。
  • 可恢复:暂停、恢复、断点续传;服务重启后任务自动重新排队续传。
  • 校验与落盘:按仓库记录的 SHA-256 校验 LFS 文件,按 vLLM 布局落盘,与 vLLM / Ollama 共享模型卷。
  • 通知:开始、完成、失败、取消推送到钉钉、飞书或企业微信。

价值

  • 无需代理即可稳定获取主流开源模型权重。
  • 从下载到推理上线一条链路,模型库页一键生成 vLLM 启动命令。
  • MIT 开源,SQLite 持久化,一条 docker compose 即可部署。