新闻详情

新闻详情

首页 / 资讯中心 / 详情

开源模型下载全攻略:HuggingFace、ModelScope、魔搭怎么用

发布时间:2026/9/30 7:23:46来源:尧图网络
开源模型下载全攻略:HuggingFace、ModelScope、魔搭怎么用
开源模型下载全攻略HuggingFace、ModelScope、魔搭怎么用本地部署大模型第一道坎往往不是显存是下载。国内直连 HuggingFace经常几 KB/s或者下一半断了、重下又从零开始。一个 7B 模型 14GB能耗掉你一整天。这篇给全套方案镜像站、ModelScope、多线程加速、断点续传、离线搬运。可直接复制命令不讲原理只讲怎么下得快、下得稳。一、先搞清模型到底能从哪下下载慢的根源是源在境外。所以核心思路就一个换源。来源适合特点hf-mirror镜像国外的模型Llama、Mistral 等最简单的加速方式改一个环境变量ModelScope / 魔搭国产模型Qwen、GLM、DeepSeek 等国内站点原生快HuggingFace 官方有稳定网络时最全但国内慢别人下好的超大模型直接拷贝最省事先判断你要下的模型在哪国产模型Qwen/GLM/DeepSeek基本都在 ModelScope 有国外模型Llama/Mistral走镜像。二、方案一换镜像站最简单先试这个hf-mirror 是一个公益镜像项目把huggingface.co镜像到国内。用法就是设一个环境变量# Linux / macOSexportHF_ENDPOINThttps://hf-mirror.com# Windows PowerShell$env:HF_ENDPOINThttps://hf-mirror.com设完之后所有走 huggingface_hub 的工具都会自动走镜像——包括transformers、diffusers、huggingface-cli。不用改任何代码。下载命令新版 CLI 是hf老版是huggingface-clipipinstall-Uhuggingface_hub# 下载整个仓库到指定目录hf download Qwen/Qwen2.5-7B-Instruct --local-dir ./models/qwen2.5-7b# 只下部分文件比如只下 4-bit 量化版hf download Qwen/Qwen2.5-7B-Instruct-GGUF--include*q4_k_m*--local-dir ./models这是投入产出比最高的方案改一行速度就能从几 KB变成几 MB。三、方案二国产模型直接用 ModelScope国产模型在魔搭ModelScope是原生托管的不用绕镜像pipinstallmodelscope# 下载模型modelscope download--modelQwen/Qwen2.5-7B-Instruct--local_dir./models/qwen2.5-7b# 下载数据集同理modelscope download--dataset数据集id--local_dir./data代码里也能直接换把from_pretrained(Qwen/Qwen2.5-7B-Instruct)换成指定 ModelScope 的加载方式即可。建议国产模型优先用 ModelScope国外模型用 hf-mirror。两条路都配好基本不用再为下载发愁。四、方案三多线程加速如果镜像还是慢可以开多线程下载。官方有个hf_transfer工具pipinstallhf_transfer# 开启后下载会走多线程exportHF_HUB_ENABLE_HF_TRANSFER1hf download Qwen/Qwen2.5-7B-Instruct --local-dir ./models/qwen2.5-7b注意多线程会吃满带宽公司/宿舍网络可能被限速反而更慢。先试单线程慢再开。五、断点续传与离线搬运大模型必看大模型下载最怕下到 90% 断了。好消息是huggingface_hub 和 modelscope 默认支持断点续传——重新执行同一条命令它会从断的地方继续不会从头再来。如果网络实在不稳用离线搬运这招在一台网络好的机器或云服务器上把模型下好打包时排除临时文件.cache、*.incomplete只留模型文件用 U 盘/移动硬盘/内网拷贝到目标机器放到目录里加载时用本地路径./models/qwen2.5-7b而不是仓库名。# 打包时排除半成品文件tar--exclude*.incomplete--exclude.cache-czfmodel.tar.gz ./models/qwen2.5-7b这一步能省掉大量等待——尤其当你有多台机器要部署同一个模型时。六、方案怎么选你的情况用哪个下国产模型Qwen/GLM/DeepSeekModelScope下国外模型Llama/Mistralhf-mirror 镜像镜像还慢开hf_transfer多线程网络极不稳定离线搬运别台机器下好拷过来只要量化版用--include只下需要的文件两条实用建议只下你需要的文件。一个模型仓库里常有好几种格式FP16、GGUF、AWQ。用--include过滤能省掉一半以上的下载量下之前先看仓库文件列表。有些模型分多个文件别漏了下tokenizer或config.json。七、卡住时的排查顺序下载慢→ 先确认HF_ENDPOINT生效了没很多人的问题是环境变量没生效下到一半断→ 重新执行同一条命令会自动续传报 401 / 403→ 模型需要授权如 Llama 系列先去官网同意条款并配 token磁盘不够→ 先看模型文件总大小FP16 的 7B 就要 14GB下载完加载报错→ 检查文件是否完整有没有漏config.json/tokenizer反复失败→ 换 ModelScope或走离线搬运。最后一句下载不是技术难题是网络问题——而网络问题都有现成解法。把镜像 ModelScope 断点续传这三件事配好你以后下任何模型都不会再卡在这一步。别把时间浪费在等待进度条上。说明文中镜像站hf-mirror、ModelScope 均为公开可用的第三方/官方服务其可用性、限速策略与使用条款以各站最新公告为准请遵守相应服务条款与模型许可证。命令中的 CLI 名称hf/huggingface-cli随huggingface_hub版本变化请以官方文档为准。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

C++模板元编程:从看懂到敢在生产环境使用 2026/9/30 8:15:46

C++模板元编程:从看懂到敢在生产环境使用

“C模板元编程”这几个字,放在任何技术社区里都能劝退一半人,剩下的另一半里还有一大半是“看过教程但一写就废”。这玩意儿可能是整个 C 里最反直觉的一块——你写的不是程序,而是让编译器替你写程序;你调的不是运行时栈&#xf…

阅读更多 →
计算机网络实验报告模板:Wireshark抓包与TCP三次握手实战指南 2026/9/30 8:15:46

计算机网络实验报告模板:Wireshark抓包与TCP三次握手实战指南

简介:这份中北大学计算机网络实验报告面向高校计算机相关专业学生,用于完成课程实验与撰写规范报告,覆盖网络命令、抓包分析与以太网帧结构三大实验模块。包内共1个doc文档,压缩包约5.04MB,内容按实验一至实验四依次编…

阅读更多 →
手写STL list:深入理解双向循环链表、迭代器与内存管理 2026/9/30 8:15:46

手写STL list:深入理解双向循环链表、迭代器与内存管理

1. 先聊清楚:list在STL里到底是什么角色,为什么值得手动模拟凡是学过一点C的人,都会接触到vector和list这两个容器。很多人一开始根本分不清它们的区别,觉得都是"存东西的数组",直到某天面试被问到"vec…

阅读更多 →
单链表回文判断:快慢指针定位与后半段反转详解 2026/9/30 8:15:45

单链表回文判断:快慢指针定位与后半段反转详解

单链表回文判断这个问题,我在面试实战里遇到的次数不少,工作后也常拿它来给组里的新人练手。它不像红黑树、图算法那么唬人,但恰恰是这种“看起来简单、写起来全是坑”的问题,最能看出你对链表指针操作是否真的熟练。判断一个单链…

阅读更多 →
华为云数据中心方案落地指南:从57页PPT到机房改造与云平台搭建 2026/9/30 8:15:45

华为云数据中心方案落地指南:从57页PPT到机房改造与云平台搭建

简介:这份PPT面向企业IT架构师、云计算运维人员及数据中心规划者,系统梳理华为云数据中心的整体解决方案。内容从云数据发展趋势切入,剖析传统数据中心在资源利用率、能耗、业务上线周期等方面的瓶颈,进而展开华为云数据中心解决方…

阅读更多 →
Model-Optimizer:打通训练到部署的模型压缩与推理加速实战指南 2026/9/30 8:15:32

Model-Optimizer:打通训练到部署的模型压缩与推理加速实战指南

手头这个“Model-Optimizer”项目,是我基于日常推理部署需求攒的一个模型优化工具集。模型训练完只是第一步,真正棘手的是怎么把它塞进生产环境,还要跑得快、省显存、不崩精度。这个项目解决的就是训练到部署之间的那段空白:不折腾…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉