在网络受限的 GPU 服务器上稳定拉取 ModelScope / Hugging Face 权重,断线续传、校验落盘,完成后直接交给 vLLM / Ollama 推理。
场景挑战
- 大模型权重动辄几十 GB,内网或受限网络下载经常中断,需要反复重试。
- 多个模型、多个版本排队下载,进度不可见,完成与失败都要人盯。
- 下载目录布局与推理服务不一致,还要手工整理。
解决方案
在 GPU 服务器上部署 dlmodel:
- 多源回退:自动源先探测魔搭、再回落 HF 镜像,aria2 多连接下载,失败逐级降级为 HTTP 断点续传与原生 SDK。
- 可恢复:暂停、恢复、断点续传;服务重启后任务自动重新排队续传。
- 校验与落盘:按仓库记录的 SHA-256 校验 LFS 文件,按 vLLM 布局落盘,与 vLLM / Ollama 共享模型卷。
- 通知:开始、完成、失败、取消推送到钉钉、飞书或企业微信。
价值
- 无需代理即可稳定获取主流开源模型权重。
- 从下载到推理上线一条链路,模型库页一键生成 vLLM 启动命令。
- MIT 开源,SQLite 持久化,一条 docker compose 即可部署。