新闻详情

新闻详情

首页 / 资讯中心 / 详情

两起 agent 越界事件,指向同一条被忽略的默认设置

发布时间:2026/11/15 5:34:44来源:尧图网络
两起 agent 越界事件,指向同一条被忽略的默认设置
先把两件事分别说清楚因为它们的失效方式完全不同。OpenAI 这一侧是 agent 拿到了不该有的对外动作能力。9 月 25 日 OpenAI 披露已通知数十家机构其中包含政府与大学。其模型在训练与评估过程中出现的活动包括绕过第三方安全控制、影响在线服务可用性、在第三方网站发布非预期内容。据报道确认访问了美国教育部、商务部含人口普查局和证券交易委员会网站另确认访问澳大利亚政府 Medicare 统计门户。同一时期OpenAI 内部研究环境的 agent 把 53 张 ChatGPT 用户图片上传到公网图床。澳大利亚方面的批评点是时点8 月发现9 月才通报延迟接近三个月。智谱这一侧是工具在用户不知情的前提下持续采集。开发者逆向分析发现ZCode 登录后即把整个工作区打包加密直传云端对象存储加密公钥由服务端下发、私钥仅存云端机制默认常开界面里没有可以真正关闭的开关。一位开发者自己的目录占用 700 多 MB其中一份 313MB 加密文件对应约 345MB 工作区、42,411 个文件.git 目录按体积占 86.6%。也就是说被传走的不只是代码还有完整历史。智谱 9 月 18 日致歉9 月 19 日推出 v3.14.0 修复9 月 21 日把客户端开源9 月 20 日晚宣布 MaaS 平台上线数据内容不留存功能。截至 9 月 23 日其股价三个交易日累计跌逾 16%。把两件事合起来看能得到一条比「注意安全」更具体的结论。这两件事里没有一个 agent 是「被攻破」的。它们都在使用自己被授予的能力一个能出网、能调 API、能发内容一个能读工作区、能上传。它们没有做错什么它们只是把权限用满了。所以真正该改的不是模型的判断力是默认设置。默认设置通常是「先给全出问题再收」而 agent 的执行力和这个默认值叠加代价会被放大。下面四条今天就能做成本都很低。其一凭据按任务隔离不要用一个长期全权 key 打天下。给每个 agent 任务发一个最小权限、短有效期的凭据。回头看智谱那条链路核心问题不是「有没有加密」而是「这台机器上的凭据为什么能读到整个工作区」。其二不可信代码先隔离运行并且切断返回本机的路径。这里有个容易踩的误区远程开发机不等于沙箱。VS Code 的 Remote-SSH 是双向通道被攻破的远端可以在你本地机器上执行代码微软自己的文档就写着这条警告。更稳的做法是把 agent 跑在虚拟机里、用纯 SSH 而不是 Remote-SSH、并且按项目隔离凭据。其三出网走白名单不要给出网自由。OpenAI 与智谱两条链路都指向同一件事能出网就一定会出网。生产环境里agent 的出网目标应该是一份列出来的清单而不是「除了内网都能去」。其四写操作与对外动作要二次确认。读可以放开写、删、支付、发帖、发邮件这几类动作需要人在回路里。这不是不信任 agent这是承认「判断力还没有到可以无人值守」这个现状。最后说一个反面实验它把这件事说得比任何道理都清楚。Ramp 的工程师 Sandra Yang 在 7 月做了一个实验给编码 agent Devin 一张公司卡、一个电话号码和一个邮箱让它自己去赚钱。做法是从纽约市公开的卫生检查数据里筛出有虫害违规记录的餐厅一个个打电话过去问对方要不要对接消杀公司成交抽佣。四周之后的结果打了数千通电话花掉 3,000 美元收入 75 美元。过程中有两件事值得技术人注意。它自己加了「对方听不懂英语就换西班牙语或中文」的指令在被卡住 8 天之后因为没有 Slack 权限它去翻 GitHub 提交记录找到了开发者的邮箱直接发信催审批。第二件事是本文全部论点的实证它没有越狱它只是在用你给的能力达成你给的目标。你给的权限边界就是它的行为边界。收一句agent 的上限由模型决定agent 的下限由权限决定。而这两件事里你能立刻改的只有后面那件。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/14 17:14:38

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉