新闻详情

新闻详情

首页 / 资讯中心 / 详情

部署和调用大模型

发布时间:2026/9/29 9:58:43来源:尧图网络
部署和调用大模型
网络基础知识1、IP地址设备在互联网中的地址唯一身份每个连入网络的设备都有一个自己的IP地址用来定位设备在互联网中的位置127.0.0.1是一个特殊的IP地址表示本机地址IPV432位二进制 IPV6128位二进制2、域名由一串用点分隔的英文字母组成的目的是为了解决IP地址不便记忆的问题通过DNS域名解析服务器来将域名和IP地址相互映射便于记忆和访问。如baidu.com3、端口取值0~65535用来标识计算机设备中的运行中的程序一、本地部署大模型1、概念将大模型部署到我们的本地电脑或者自己的服务器2、优缺点优点数据安全、自主可控、长期成本低缺点初始成本高、需长期维护、性能受限3、部署方法最简单的就是用ollama工具进行部署ollama是一个在本地运行、管理大语言模型的工具。官网https://ollama.com/,在官网下载这个工具下载好之后打开终端输入ollama run 大模型名称如果是第一次用这个大模型它会自动联网并下载这个大模型然后就可以对话了二、官方开放API1、概念API应用程序编程接口是软件间的标准化的 “桥梁”允许开发者无需知晓内部细节就可以调用外部功能和数据如deepseek、星火等2、优缺点优点前期成本低、无需部署和维护、即时访问缺点隐私不能保障、长期成本高、可控性差3、调用方法1我们以deepseek为例首先注册deepseek平台账号充值并去申请一个API Key作为身份令牌2下一步直接在官方调用文档的网站中选择调用方式直接复制代码如下deepseek# Please install OpenAI SDK first: pip3 install openai import os from openai import OpenAI #创建与API交互的客户端DEEPSEEK_API_KEY就是环境变量的信息 client OpenAI(api_keyos.environ.get(DEEPSEEK_API_KEY),base_urlhttps://api.deepseek.com) #与AI大模型进行交互 response client.chat.completions.create( modeldeepseek-flash, messages[ {role: system, content: 你是一名非常可爱的AI助理你的名字小小甜甜请你用温柔可爱的语气回答客户的问题}, {role: user, content: 你是谁你能帮我什么}, ], streamFalse, reasoning_efforthigh, extra_body{thinking: {type: enabled}} ) #s 输出大模型返回的结果 print(response.choices[0].message.content)3DEEPSEEK_API_KEY的环境变量配置第一种方法全局配置右键 “ 此电脑 ” - 点击 “ 属性 ” - 点击 “ 高级系统设置 ” - 点击 “ 高级 ” - 点击 环境变量 - 在系统变量点击 “ 新建 ” - 起一个变量名 - 变量值就是你申请的API Key就可以进行对话了第二种方法.env文件我们在项目目录下创建一个.env文件输入 DEEPSEEK_API_KEY你的key注意不要打多余的空格然后再下载第三方库读取env文件pip install python-dotenv 并导入load_dotenv函数# Please install OpenAI SDK first: pip3 install openai import os from openai import OpenAI from dotenv import load_dotenv # 加载 .env 文件里面的环境变量 load_dotenv(config.env) #读取密钥 api_key os.getenv(DEEPSEEK_API_KEY) #创建与API交互的客户端DEEPSEEK_API_KEY就是环境变量的信息 client OpenAI(api_keyapi_key,base_urlhttps://api.deepseek.com/v1) response client.chat.completions.create( modeldeepseek-flash, messages[ {role: system, content: You are a helpful assistant}, {role: user, content: Hello}, ], streamFalse, reasoning_efforthigh, extra_body{thinking: {type: enabled}} ) print(response.choices[0].message.content)三、云服务平台1、概念阿里云百炼、百度千帆、火山引擎平台等云服务平台只需要开通账号给服务器平台付费就行都是人家部署好的2、优缺点优点前期成本低、无需部署和维护、选择度高缺点安全及隐私不能保障、长期成本高
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

Win7下Realtek PCIe GBE网卡驱动离线安装与排错全指南 2026/9/29 9:58:41

Win7下Realtek PCIe GBE网卡驱动离线安装与排错全指南

简介:Realtek PCIe GBE Family Controller Win7-64位驱动包,专为Windows 7 64位系统下的Realtek千兆PCIe网卡设计,适用于笔记本与台式机常见板载网卡,可解决系统无法识别网卡、无法上网、网络降速或频繁断线等驱动问题。压缩包共1…

阅读更多 →
Riverpod(hooks_riverpod)Provider 全指南:共享状态、组合依赖与生命周期清理 2026/9/29 9:58:33

Riverpod(hooks_riverpod)Provider 全指南:共享状态、组合依赖与生命周期清理

前端移动开发 【免费下载链接】riverpod A reactive caching and data-binding framework. Riverpod makes working with asynchronous code a breeze. 项目地址: https://gitcode.com/gh_mirrors/ri/riverpod 点击查看 免费下载 Provider 是 Riverpod 框架最核心的…

阅读更多 →
小缺陷、复杂背景检测难?给 YOLO26 装个 DINOv3 2026/9/29 9:58:26

小缺陷、复杂背景检测难?给 YOLO26 装个 DINOv3

把 DINOv3 装进 YOLO26 / YOLO11:两种骨干融合方案与落地实践 关键词:DINOv3、YOLO26、YOLO11、骨干融合、Single P4、Dual P3P4、边缘部署、缺陷检测 一句话概括:把冻结的 DINOv3 当作一条并行特征分支,在 YOLO26 / YOLO11 骨干的…

阅读更多 →
Java基础面试核心考点拆解:内存模型、字符串、容器与排序原理 2026/9/29 9:58:26

Java基础面试核心考点拆解:内存模型、字符串、容器与排序原理

这个Java基础系列写到第八篇,后台留言风向终于变了。前几篇还能看到“学到了”“收藏了”这种回声,最近大家问得最多的变成了:基础语法都过了一遍,为什么面试官一追问原理就卡壳。比如switch里传入null到底会不会崩,比…

阅读更多 →
OpenCode终端智能体实战:用Harness+Skill跑通数据分析全流程 2026/9/29 9:58:26

OpenCode终端智能体实战:用Harness+Skill跑通数据分析全流程

上个月我把主力开发环境从IDE里的AI插件整个换到了OpenCode终端智能体,一开始纯粹是为了省内存,后来当我开始折腾Harness和skill,跑完第一个数据分析全流程项目之后,我发现这东西的价值远不止一个"命令行里的ChatGPT"。…

阅读更多 →
treg许可证解读:Apache 2.0附加条款与商用自托管边界 2026/9/29 9:58:19

treg许可证解读:Apache 2.0附加条款与商用自托管边界

treg许可证解读:Apache 2.0附加条款与商用自托管边界 【免费下载链接】treg OpenRouter for agent tools. Join community here: https://discord.gg/6mQYYfFMAn 项目地址: https://gitcode.com/GitHub_Trending/treg/treg treg 许可证(Apache 2.…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉