半夜宠物突发状况 端到端具身交互智能落地 的萌宠顾问能实时预警# 半夜宠物突发状况端到端具身交互智能落地的萌宠顾问能实时预警我不打算先讲道理。这是「半夜宠物急诊台」的顾问毛豆昨晚一整夜的真实运行日志我原样贴出来——你看完再决定要不要聊它到底做了什么。补两句背景毛豆是个沉稳、不吓人的养宠顾问性格设定就一条——先安抚、再分级处置绝不在凌晨给你甩一堆延误可致命。它平时不出声整夜替你看猫看狗发现不对劲才主动叫你。下面这段日志就是它守了一夜团子我家那只三岁英短之后留下的全部流水。## 【事件日志】23:11 – 04:37一台旧手机替我看了 5 小时猫23:11 感知·团子姿态侧卧 呼吸 12/min 平稳 → 决策静默无事件 00:26 感知·舔唇频繁 diffSignificantfalse → 决策未越阈值继续静默 01:42 感知·起身频率↑ 3 次/10min 焦躁踱步 → 决策低优记录 · 挂观察位 02:31 感知·弓背 腹式抽动 → 决策疑似呕吐前兆进待判定 02:47 感知·呕吐动作确认 ×2 内容物黄色胃液 → 决策中级预警命中呕吐事件 02:47 表达轻音量唤醒 语音安抚 → 行动推送至主人手机 02:52 感知·主人语音回应怎么回事 [Barge-in] → 决策立即收声切换处置话术 03:15 感知·精神状态回落 呼吸恢复平稳 → 决策解除紧急生成就诊摘要草稿 03:40 行动恒温窝 0.5℃ / 灯光调暗至 0.15 → 行动写回宠物长期档案趋势 04:37 感知·团子再次侧卧安睡 → 决策静默 · 整夜零误报请注意这份日志的节奏。整整 5 小时毛豆只开口叫了我一次。它不是没看见——00:26 舔唇、01:42 焦躁踱步这些它都记下了只是判断还不够格于是闭嘴。直到 02:47 呕吐动作被确认、且和既往基线明显拉开它才把我叫醒。一夜里它为什么这次没开口、那次开了口就是这份日志全部的看点。下面我按复盘的方式一条条把它拆开讲——这也是我们做端到端具身交互智能时真正踩过的坑。每一条复盘我都会指回日志里的具体时间戳你能对着看它到底在哪一步做了什么。读这份日志你就盯三列感知那栏是它看到了什么决策那栏是它当晚怎么判行动 / 表达那栏是它到底有没有因此动一下。整页扫下来你会发现“行动只出现在 02:47、03:40、04:37 这几行其余全是静默或低优记录”——一台看着猫熬了一整夜的机器绝大部分时间其实是什么都不做的。会做这份忍住不做比会报警难得多。## 【复盘 1】它一夜为什么只叫了这一次这是所有挂机监控类智能体的命门持续感知很容易难的是不打扰。半夜三点被一台设备为猫舔了一下嘴叫醒的人第二天就再也不会开这个功能了。所以毛豆的整条判定链是在给开口这件事不断加门槛。第一道门槛是事件不是帧。摄像头一晚上送进来几万帧毛豆从不逐帧报警它只在姿态识别命中了语义事件呕吐 / 抽搐 / 弓背 / 排尿困难 / 精神萎靡时才进入判定。第二道门槛是****变化阈值 diffSignificant**单次舔唇、单次起身跟团子自己的历史基线一比没拉开显著差直接归零——日志里 00:26 那行未越阈值继续静默就是被这道门槛挡下的。第三道门槛才是优先级排队**——越过了前两道的才按轻/中/重决定用多大音量、要不要打断当前播报、要不要联动急诊。def on_pet_frame(frame, wearable, profile): sig pet_monitor.analyze(frame, wearable, baselineprofile.baseline) event sig.detect([vomit, seizure, lethargy, straining_to_urinate]) # 门槛一只认语义事件不认单帧噪声 if not event: return # 一切正常 → 静默待命 # 门槛二与这只猫自己的基线比没显著变化就咽回去00:26 舔唇走这里 if not event.diffSignificant(profile): brain.log_only(event, leveltrace) return # 门槛三越过阈值才分级按严重程度排队决定叫多大声 severity triage.grade(event, profileprofile) # light / moderate / severe if severity light: brain.log_only(event, levellow) # 01:42 焦躁只记档明早汇总 elif severity moderate: brain.proactive_speak(priority2, tonecalm, textf{event.name}两次了先别慌我一直看着它。) else: # severe抽搐 / 尿不出 / 呼吸困难 → 抢在一切播报之前叫醒 brain.proactive_speak(priority3, interrupt_currentTrue, text这个有点急现在去拿航空箱我同步通知急诊。) vet.connect_urgent(profileprofile)看懂了吗——持续感知主动决策而不是等你被吓醒后来问它。团子吐的时候你在睡觉是它替你熬着这一夜、并在恰当的那一秒把你捞出来。还有一层容易被忽略那些没叫你的低优记录并没有被丢掉。00:26 的舔唇、01:42 的踱步会以 trace / low 的级别沉进团子的基线里——下一次它判断今晚这算不算反常时正是拿这一摞静默记录当参照。所以这套门槛不是一刀切的死阈值而是越用越懂这只猫一只本就爱夜里踱步的老猫和一只突然开始踱步的年轻猫在毛豆眼里是两件完全不同的事。误报治理的终点是把该不该叫醒你变成一个会随档案漂移的判断而不是一行写死的 if。## 【复盘 2】02:52 那句怎么回事它是怎么接住的日志里有个细节最容易被忽略02:47 毛豆刚开口安抚02:52 你还在迷糊中就抢了一句怎么回事。换成一般的语音助手多半会把你这句话当成新会话的开头或者干脆自顾自把安抚念完。毛豆的处理是——立刻收声。这就是 Barge-in智能打断。它正在说话的时候麦克风并没有关VAD 一旦判定是你在插话当前播报被硬切上下文马上从我在安抚你翻到你在问我问题先答你最要紧的那句再绕回处置主线。能做到这一点是因为表达和感知是两条并行在跑的线——说话当口它的耳朵一直是张着的。// 毛豆正在播报处置话术主人随时可以插话 async function guideTriage(steps) { for (const step of steps) { if (sdk.voiceBusy()) await sdk.waitIdle(3000); // 段间 idle 兜底不死等 sdk.speak(step.speech, /*enqueue*/ true, /*bargeable*/ true, { tone: calm }); // 播报的同时感知线程仍在收声VAD 判定主人插话即触发 const reply await listen({ autoStopOn: owner_speech }); if (reply.isInterruption) { // 怎么回事就是这一支 sdk.interrupt(); // 02:52 立刻收当前这句 await brain.answerSideQuestion(reply.text); // 先接住给最直接的答案 resume(step); // 再绕回没念完的处置 } } }bargeabletrue 和 interrupt() 是这套体验的骨架。半夜的人本就慌一句插话如果被忽略、或者被要求请重新说一遍信任当场就崩了。毛豆能接住靠的不是话术是感知、决策、表达在同一时刻并行——说话当口它的耳朵一直是张着的。这里有个工程上很脏、但决定成败的细节既然毛豆说话时麦克风还开着它凭什么不把自己的外放当成你在插话、自己打断自己靠的是 AEC 回声消除 本体声音抑制——它先把自己放出去那段声波减掉再让 VAD 只在确实在人声窗口、且不是自己的时段收口。02:52 你那句怎么回事能被干净地判成打断前提是这一整层降噪和自声过滤已经在底下默默跑完了。这层东西拆开来单做语音、单做识别是拼不出来的只能端到端一起做。!-- 配图建议一段音频波形示意——毛豆的播报波被 AEC 消掉主人的插话波被标为 [Barge-in] 触发点。 --这一整段处置其实是分步口播的毛豆一次只给你下一步动作“先深呼吸”“去摸一下它耳朵凉不凉”“够不到就开台灯”每一步停下来等你的回应再走下一步而不是一口气念完一长串医嘱。tone: calm和这个一步一停是我们在真机上反复调出来的——人在慌乱里被信息淹没时是听不进第二句的。## 【复盘 3】它越急说话越稳——这不是话术模板很多人以为毛豆半夜那句安抚是一段精心写好的危机公关文案。不是。那是专属智脑在同时权衡三件事这只猫到底什么样、现在有多危急、以及我作为这个角色该怎么说。团子不是一只抽象的猫它是有档案的三岁英短、去年一次尿闭住院、对某种止吐药过敏。这些不用我在凌晨两点重新交代智脑随时带着。它的性格也被钉死在系统提示里——沉稳、压低音量、绝不制造恐慌而且守两条硬红线我不诊断以及疑似中毒 / 持续抽搐 / 公猫尿闭 / 呼吸困难第一句永远是现在就去医院不劝你再观察。// 智脑在 02:47 那一刻同时握着的两样东西 { system_prompt: 你是「半夜宠物急诊台」顾问毛豆。沉稳、压低音量、先安抚后处置 一次只给下一步动作。你不是兽医不下诊断、不开处方。命中红线疑似中毒/持续 抽搐/公猫尿闭/呼吸困难/大出血时第一句必为『立即送医』并生成就诊摘要。 用药前先查档案过敏史命中即避开。单条≤100字不要序号、不要换行。, pet_profile: { name: 团子, breed: 英国短毛猫, age: 3, history: [2025-03 尿闭住院, 对胃复安类止吐药过敏], baseline: { resting_breath: 12, daily_vomit: 0 } } }这套智脑可插拔OpenAI 协议模型、Dify/Coze Agent、自建模型都能接进来急诊台后来挂了一家连锁医院自研的分诊规则引擎——毛豆的声音、性格、半夜安抚你的手感一点没变变的只是分诊依据从哪来。而这份档案品种 / 年龄 / 既往病史 / 过敏是记忆跟着角色走不跟着设备走。这里想替专属智脑澄清一个误解它不是通用大模型 一句『你是宠物医生』的提示词。差别在 02:47 之后毛豆开口的顺序——它没有先甩一堆鉴别诊断毛球症胰腺炎尿闭中毒那是搜索框会干、且只会让你更慌的事。它先说我在别慌再反问两三个能定性的关键项能不能被叫醒、呼吸怎么起伏、最近吃了什么拿着你的回答把危急度往下压最后只给下一步。先安抚、再取证、后分级这套节奏是长在角色里的不是临场检索出来的。它越急、句子反而越短越稳——因为沉稳本身就是被约束的性格而不是文案模板。而那条红线正是这套沉稳唯一的例外。日志里团子这次是中级毛豆有底气陪你慢慢观察但换成另一只狗在凌晨突然四肢划动、口吐白沫地抽搐或者猫误食了百合、老鼠药这类疑似中毒——红线会被直接触发智脑会把先安抚这一整套克制全部让位给一句话现在就去医院别再等了。它不会因为想显得镇定而劝你再观察也不会为了怕误报而不敢开口。该稳的时候稳该急的时候一句话把你推出门这个分寸感是写在角色边界里、而不是靠模型临场发挥的。## 【复盘 4】一台三年前的旧手机凭什么敢整夜挂机这是毛豆能不能成立的前提也是我最想替工程师说清楚的一段。挂机监控是长时任务——一开就是一整夜、八小时起步。如果那副 3D 形象、那一晚上的实时判断都靠云端渲染再推视频流回手机代价是三重不可承受云 GPU 按小时烧钱、终端半小时烫手掉电、以及最要命的一条——你愿意让一台设备把卧室整夜的画面实时上传到云端吗急诊台的解法是把渲染整个下沉到端侧。SDK 让那具形象、口型、眼神在旧手机本地画出来网络里跑的只是轻量的交互数据——一个姿态、一次分级、一句待合成的文本。画面从不整夜上传云端的账也不按你的睡眠时长计。于是低云成本、省带宽、短延迟、弱网可用凑齐了整夜看着你家猫这件事用一台三年前的旧手机也扛得住、也不贵。它得先熬得起这一整夜才谈得上在 02:47 那一秒叫醒你。我想特别说一下隐私这条因为它不是卖点是底线。挂机监控天然意味着一台带摄像头的设备整夜对着你的卧室。如果它走的是云推流那你睡着的这 8 小时画面是持续离开你家、流向远端服务器的。端渲把这条掐断了团子的姿态、呼吸这些判断在本地算算完只把中级预警 / 呕吐×2这样的结论送出去原始视频帧从不出门。同理凌晨家里 Wi-Fi 抖一下、外网掉两秒毛豆也不会像推流方案那样黑屏卡住——渲染在本地网络只负责传那几十字节的事件弱网照样守夜。能不能整夜挂机拼的不是模型多强是这整夜你到底愿不愿意、敢不敢一直开着。顺带一个商业上的连锁反应正因为云端不按视频流计费急诊台才养得起让每个家庭都挂一整夜这件事。要是走云推流一晚上 8 小时的实时渲染加带宽光服务器成本就够劝退任何一个想认真做整夜守护的团队——端渲省下来的这笔账才是半夜有人看着能变成日常功能、而不是昂贵的演示的前提## 【复盘 5】从半夜给你一段建议到把损失真正降低复盘到 03:40 那行日志你会看到毛豆不只是说它还做了——它把恒温窝悄悄升了 0.5℃让吐完发凉的团子别失温把灯光压到 0.15减少刺激。这是物理行动。而 03:15 那份就诊摘要草稿是数字行动它把整晚的异常时间线、呕吐次数和内容物、你口头回答的三项关键问题连同过敏史和尿闭既往自动压成一张结构化卡片。真到了要送医那一步一键推给对接的 24 小时急诊你抱着猫冲进医院时不用语无伦次地重述医生打开就是重点——凌晨的慌乱里这份摘要能省下最贵的东西时间。如果你去翻急诊台后台的这段处置逻辑会发现它的写法其实很朴素中度事件触发的是调恒温窝 压灯光 把趋势写回长期档案这一组温和动作只有升级到重度才会去推就诊摘要、暂停自动喂食免得就医前误食、并同步给急诊台占好接诊位。动作是分级挂上去的跟它开口叫你的音量是同一套优先级在管。换句话说毛豆急到什么程度不只体现在它说什么也体现在它替你动了家里哪些东西。为什么要在意动作这一层因为半夜宠物的损失很多是被再等等看拖大的。一段文字建议给不了你确定性你得自己判断要不要现在出门而恒温窝已经升温、灯光已经调暗、摘要已经躺在急诊医生后台这一串已经发生的事实才是真正把风险往下压的东西。03:15 那份摘要草稿即便最后没用上——因为团子到 03:15 精神回落了、我们没连夜跑医院——它也已经把这一次呕吐写进了长期趋势。下一次团子再在半夜弓背毛豆拿的就不是一只猫吐了而是这只猫上个月吐过两次、都是凌晨、吐完都自己缓过来了。判断的底座就是这样一夜一夜攒厚的。再往物理世界走一步同一份记忆、同一个沉稳的声音今天活在手机里明天可以进客厅那块 AI 屏后天可以走进一台会移动的宠物机器人——它带着团子这整夜的档案从卧室一路跟到急诊室走过去低头看清状态、把航空箱从柜子里示意给你。身体换了本事和记性不换。## 【写在最后端到端这三个字到底端在哪】把这 5 小时连起来看你会看到一条没有断点的线毛豆从 23:11 起就在持续感知每帧都拿团子自己的基线做持续理解在 02:47 完成一次越过三重阈值的持续决策随即用压低的音量持续表达、并同步动了恒温窝和推送整个过程中它随时能被你那句怎么回事打断事后把趋势写回有记忆的长期档案而这一切又能在手机 / 家里的屏 / 未来的机器人之间换着身体复用。关键在于这条线不是识别模块 语音模块 大模型事后拼起来的。拼接式的系统做不到 02:52 那种边说边听的即时收声也做不到一夜零误报还只在关键时刻开口——因为感知、理解、决策、表达、行动必须在同一条实时闭环里并行咬合。这就是我们把端到端三个字较真的地方端到整夜不打扰、一叫就接得住、还带着记性陪你换身体。 官网 开发文档https://xingyun3d.com/developers/52-183家里有毛孩子的你不妨回想一下昨晚它有没有半夜呕吐、焦躁踱步、或者反常地趴着不动而你一觉睡到天亮才发现如果有一台旧手机整夜替你看着它、发现不对才轻声叫你、还顺手把摘要备给了急诊——你敢不敢真的踏实睡这一觉