新闻详情

新闻详情

首页 / 资讯中心 / 详情

报名丨Computer useVoice Agent:用 TEN 搭建 Mac Assistant 的 config.toml 骨架与联调验证

发布时间:2026/11/18 0:35:43来源:尧图网络
报名丨Computer useVoice Agent:用 TEN 搭建 Mac Assistant 的 config.toml 骨架与联调验证
1. 为什么要在 Mac 上折腾 TEN 的 Computer useTEN 是一个开源的实时对话式 Voice Agent 框架它把语音识别、大模型推理、语音合成和工具调用串成一条低延迟、可打断的流水线。而 Computer use 是它最近比较受关注的能力让 Agent 不只是聊天还能真的去操作你的桌面比如打开应用、执行命令、读取窗口内容。把这两者拼在一起就是很多人想要的 Mac Assistant——你对着麦克风说一句话Mac 上就真的动起来。这套东西适合谁我觉得是三类人一是已经会用命令行、git、docker想快速跑通一个语音控制桌面 demo 的开发者二是做过 Python 或 Web 开发想理解 Voice Agent 工具调用链路的人三是手里有 Mac想拿它当实验台验证「语音指令触发本地操作」这条闭环的人。如果你只是想找个现成的语音助手用那没必要折腾但如果你想搞清楚 Agent 怎么从一句话走到一次真实操作TEN 的 config.toml 骨架和联调流程值得走一遍。我试过在本地把 TEN Agent 拉起来再挂上 Computer use 的工具整个过程最卡人的不是模型而是配置项散、Key 通道多、启动顺序容易乱。所以这篇不聊大会报名直接给你一份可复制的 config.toml 骨架再配一套统一的 Key/API 接入方式最后用启动和验证动作确认语音指令能触发 Mac 端操作。2. TaoToken 前置统一 Key 与 API 通道怎么接TEN 的默认配置里LLM、TTS、ASR 往往要分别填不同厂商的 Key调试阶段光切换就够烦。我的做法是走 TaoToken 的统一通道把模型调用收敛到一个 API 入口config.toml 里只维护一份 Key 和 base_url后面换模型只改 model 字段。官网入口在这里https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册后在控制台生成 API Key。API 基地址用 https://taotoken.net/api 注意这个地址不带 UTM 参数直接写进配置即可。具体操作分三步。第一步登录后进控制台找到 API Keys 页面新建一个 Key复制出来先存到本地环境变量别直接硬编码进仓库。第二步确认你要用的模型名比如对话模型和 TTS 模型分别是什么TEN 的 config.toml 里会按模块填。第三步把 base_url 统一指向 https://taotoken.net/api 这样 LLM 和 TTS 可以共用同一个通道减少配置分叉。提示Key 建议用环境变量注入config.toml 里写${TAOTOKEN_API_KEY}这种占位启动脚本里 export避免提交到 git。如果你后面要长期跑编码类或 Agent 类任务可以顺带看下 Coding Plan 页面它更适合高频调用场景只是验证模型通不通用模型对话页面直接试一句就行。接入文档在 doc 里遇到字段对不上时优先查它。3. 可复制的 config.toml 骨架下面这份骨架是按 Mac Assistant 场景整理的包含 RTC、LLM、TTS、ASR 和 Computer use 工具段。你把它存成config.toml放在 TEN Agent 的配置目录下然后按注释替换 Key 和模型名。# TEN Agent - Mac Assistant 配置骨架 # 统一走 TaoToken 通道base_url 不带 UTM [rtc] provider agora app_id ${AGORA_APP_ID} app_certificate ${AGORA_APP_CERTIFICATE} channel mac_assistant uid 1001 [llm] provider openai_compatible base_url https://taotoken.net/api api_key ${TAOTOKEN_API_KEY} model gpt-4o-mini temperature 0.3 max_tokens 1024 [tts] provider openai_compatible base_url https://taotoken.net/api api_key ${TAOTOKEN_API_KEY} model tts-1 voice alloy sample_rate 24000 [asr] provider default language zh-CN interrupt_enabled true [computer_use] enabled true platform macos allow_apps [Finder, Terminal, Safari] allow_shell true shell_timeout_sec 15 screenshot_on_action true [agent] name mac-assistant system_prompt 你是一个运行在 macOS 上的语音助手。 用户用中文下达指令你可以调用 computer_use 工具执行桌面操作。 执行前先复述你要做的动作执行后返回结果摘要。 几个关键点解释一下。[llm]和[tts]都指向同一个 base_urlKey 也共用这就是统一通道的好处。[computer_use]里的allow_apps是白名单先限制在 Finder、Terminal、Safari避免 Agent 乱开应用allow_shell打开后它能执行 shell 命令shell_timeout_sec防止卡死。screenshot_on_action打开后每次操作会截屏方便你回看它到底干了什么。注意allow_shell true在本地实验可以但别在存有敏感数据的机器上长期开着。白名单和超时是底线。4. 启动与验证确认语音指令触发 Mac 操作配置写好后启动分两步先起 TEN Agent 服务再起 RTC 通道。假设你已经 clone 了 TEN-Agent 仓库并且装好了 docker 和 docker compose。# 1. 注入环境变量 export TAOTOKEN_API_KEY你的Key export AGORA_APP_ID你的AgoraAppId export AGORA_APP_CERTIFICATE你的Agora证书 # 2. 启动 TEN Agent docker compose -f docker-compose.yml up -d # 3. 查看日志确认 LLM 和 TTS 初始化成功 docker compose logs -f ten-agent | grep -E llm|tts|computer_use日志里如果出现llm initialized、tts initialized、computer_use enabled说明配置被正确读取。接下来打开 TEN Agent 的 Web 控制台连上mac_assistant这个 channel允许麦克风权限。验证动作我建议按三步走从简单到复杂。第一步说「你好介绍一下你自己」确认语音链路通TTS 有回音。第二步说「打开 Finder」观察 Mac 上 Finder 是否被激活日志里应该有computer_use action: open_app。第三步说「在终端里执行 echo hello」看 Terminal 是否弹出并输出 hello同时截图记录被保存。# 验证 shell 动作是否真的执行 docker compose exec ten-agent ls -la /tmp/ten_screenshots/ # 应该能看到按时间戳命名的截图文件如果第三步成功说明语音指令已经能触发 Mac 端操作整条闭环跑通了。这时候你可以回到 config.toml把allow_apps再加一个你常用的应用试试自定义 tool 的扩展。5. 本篇常见错排查第一个坑是 Key 没生效。表现是日志里 LLM 初始化失败报 401。原因通常是环境变量没 export 到 docker 容器里或者 config.toml 里写的是明文 Key 但被 git 忽略规则覆盖了。排查方法进容器docker compose exec ten-agent env | grep TAOTOKEN看变量在不在。第二个坑是 RTC 连不上。表现是 Web 控制台一直转圈日志里rtc join failed。先确认 Agora 的 app_id 和 certificate 没写反再确认 channel 名和前端填的一致。Mac 的防火墙有时会拦 UDP临时关掉试一次。第三个坑是 Computer use 不执行。表现是语音识别到了LLM 也回复了但 Mac 没动静。先看allow_apps白名单里有没有你要操作的应用再看allow_shell是不是 false。如果日志里出现permission denied那是 macOS 的辅助功能权限没给去系统设置里把终端或 docker 的辅助功能权限打开。第四个坑是 TTS 没声音。检查sample_rate和前端播放器是否匹配24000 是常见值但有些浏览器要求 48000。改一下再试。提示排障时优先看docker compose logs -f ten-agent的实时输出比翻历史日志快。接入相关的字段问题直接查接入文档最准。6. 把 Key 和通道固定下来再谈扩展跑通之后我建议你做的第一件事不是加功能而是把 Key 和 API 通道固定成一套可复用的配置模板。因为 Computer use 的调试会反复重启服务如果每次都要重新填 Key效率很低。统一走 TaoToken 的 API 通道后你只需要维护一个环境变量文件config.toml 里全是占位符换机器也能直接搬。如果你接下来要验证更多模型比如换个对话模型看指令理解准不准可以直接在模型对话页面先试 prompt确认效果再写回 config.toml。如果你打算把这个 Mac Assistant 长期挂着跑或者接进日常编码流程那 Coding Plan 会更合适调用额度和稳定性都更省心。API Keys 页面用来管理你的 Key 轮换接入文档用来查字段这几个入口配合起来基本覆盖了从调试到长期运行的需求。最后留一个我踩过的坑别在 config.toml 里同时写两套 base_url一套给 LLM 一套给 TTS那样切换模型时容易漏改。统一成一个改 model 字段就够了。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/17 6:55:04

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉