cgft-llm Ollama快速上手5分钟本地部署开源大模型含Linux手动安装避坑教程【免费下载链接】cgft-llmcgft-llm 是一个学习大语言模型LLM开发的开源资源。它提供代码、文档和视频教程帮助用户通过实践掌握前沿核心 LLM 技术项目地址: https://gitcode.com/echonoshy/cgft-llmcgft-llm 是一个带你动手做大模型的开源学习项目覆盖大模型部署、RAG、微调、Function Calling 等核心实战。本文基于项目中的 ollama-introduction.md带你用 Ollama 在5 分钟内完成开源大模型的本地部署不依赖云端 API、无需 GPU 云资源一条命令就能和 LLM 对话。同时附一份Linux 手动安装避坑教程专治一键脚本翻车的问题。想跟着完整学习可先拉取项目资料git clone https://gitcode.com/echonoshy/cgft-llm一、为什么选 Ollama 本地部署大模型对于新手来说Ollama 几乎是本地跑大模型的最优解⚡一条命令部署ollama run llama3即拉取模型又对话比手动配环境简单太多内置 REST API本地模型服务在localhost:11434任何 Python 项目都能直接调用支持本地 GGUF 模型配合 Modelfile 可加载自己的量化模型指定系统提示与上下文长度免费、私有、可离线数据不出本机不消耗 API 额度部署好之后本地模型可以无缝接入 RAG 知识库、Function Calling 工作流等应用这也是 cgft-llm 后续课程的基础。二、Mac / Windows 一键安装 OllamaMac 和 Windows 都有成熟的图形化安装包从 Ollama 官网下载对应安装包双击安装即可。安装完成后在终端验证ollama --version能打印出版本号说明部署成功直接跳到第四节开始用模型。三、Linux 手动安装 Ollama避坑教程官方虽提供一键安装脚本但在内网环境、云服务器或代理网络下经常失败。这时推荐手动安装共 4 步1. 启动网络代理如需要云服务器下载慢或超时时先配置代理再下载。2. 从官方 Releases 页面下载 Linux 二进制包用curl或wget下载ollama-linux-amd64注意替换为最新版本号。3. 赋予可执行权限并创建软链接这是最容易踩坑的一步⚠️坑 1Permission denied—— 忘记执行chmod x给二进制文件加执行权限⚠️坑 2command not found: ollama—— 二进制文件放在临时目录系统 PATH 里找不到。解法是软链接到/usr/local/bin 为什么放/usr/local/bin/bin放系统引导必备命令/usr/bin放包管理器安装的命令而/usr/local/bin正是本地手动安装软件的标准位置不依赖系统包管理器卸载也干净。chmod x ./ollama-linux-amd64 sudo ln -s ./ollama-linux-amd64 /usr/local/bin/ollama4. 启动 Ollama 服务ollama serve看到服务启动日志即完成部署服务默认监听11434端口。四、5分钟上手拉取并运行第一个模型模型服务跑起来后体验 Ollama 最简单的几个命令ollama pull llama3 # 仅下载模型不开始对话 ollama run llama3 # 拉取模型并直接进入对话 ollama list # 查看已下载的模型列表 ollama rm llama3 # 删除指定模型模型占磁盘不小用完记得清理提示可用模型远不止官方库列出的这些。若某模型在 Hugging Face 上有 GGUF 量化版本一般也能通过 Ollama 加载建议先查模型的官方说明确认兼容性。五、用 REST API 调用本地大模型部署好的 Ollama 天然就是一个本地 LLM 服务curl即可调用# 非流式一次性返回完整回答 curl http://localhost:11434/api/generate -d { model: llama3, prompt: Why is the sky blue?, stream: false }核心接口就两个接口用途/api/generate单轮生成支持流式逐 token 返回与非流式/api/chat多轮对话用messages数组传入 role/content 保持上下文Python 生态中openai客户端只要把 base_url 指向http://localhost:11434/v1即可复用项目 graph-rag/src/openai_embeddings_llm.py 就是这样的实战示例。六、加载自己的 GGUF 本地模型ModelfileOllama 支持加载 GGUF 格式模型其他格式需先用 llama.cpp 转换参考 02-llm-core/llama-cpp/README.md。做法是写一个Modelfile声明模型文件与参数FROM /path/to/your/model.gguf指定本地模型路径PARAMETER temperature 1控制创造性越高越发散越低越稳定SYSTEM ...设置系统提示让模型扮演特定角色然后创建并使用ollama create model_name -f ./Modelfile ollama run model_name实战避坑直接ollama pull的默认模型上下文长度有限长文档任务容易报错。推荐像项目 graph-rag/src/Modelfile 那样手动构建模型并指定更长的上下文完整流程见 02-llm-core/graph-rag/README.md。七、把本地模型接入自己的应用部署只是开始Ollama 真正的价值是让本地模型驱动业务应用。cgft-llm 中就有三个现成场景1. RAG 知识库本地模型 向量检索安装llama-index-llms-ollama和llama-index-embeddings-ollama两个插件后即可把 Ollama 作为 LLM 与 Embedding 后端对文本或 PDF 做检索问答索引构建02-llm-core/llama-index/index-doc.py、02-llm-core/llama-index/index-pdf.py查询拆解02-llm-core/llama-index/query.py2. Function Calling让模型调用工具本地模型同样能判断要不要用工具自动触发发邮件等工作流实现细节见 02-llm-core/function-calling/README.md 与 02-llm-core/function-calling/app.py。3. Graph RAG本地部署图检索服务用 Qwen2-7B 量化模型构建知识图谱并全本地推理是隐私敏感场景的完整方案02-llm-core/graph-rag/README.md。八、常见问题 FAQQ1Ollama 服务监听哪个端口默认11434其他服务访问时统一用http://localhost:11434。Q2为什么ollama run后第一次很慢首次运行会拉取模型文件大模型体积可达数 GB属正常现象下载完成后即可用ollama list确认。Q3模型太占磁盘空间怎么办用ollama rm 模型名删除不用的模型选型时优先 4B~8B 量化版本兼顾效果与资源。Q4Linux 上服务重启后怎么自启手动安装模式下ollama serve需随系统启动如配置 systemd 服务否则重启后要手动拉起。写在最后到这里你已经完成了 Ollama 的完整部署链路安装 → 拉模型 → 对话 → API 调用 → 自定义模型 → 接入应用。接下来可以沿着项目 02-llm-core/docs/ollama-introduction.md 继续深入或进入 02-llm-core/ 目录依次挑战 RAG、Function Calling 与模型微调把本地大模型真正用起来 【免费下载链接】cgft-llmcgft-llm 是一个学习大语言模型LLM开发的开源资源。它提供代码、文档和视频教程帮助用户通过实践掌握前沿核心 LLM 技术项目地址: https://gitcode.com/echonoshy/cgft-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考