新闻详情

新闻详情

首页 / 资讯中心 / 详情

AIRI 视觉能力深度解析:如何让你的 AI 数字伴侣看见屏幕、摄像头与游戏画面

发布时间:2026/11/16 12:11:50来源:尧图网络
AIRI 视觉能力深度解析:如何让你的 AI 数字伴侣看见屏幕、摄像头与游戏画面
AIRI 视觉能力深度解析如何让你的 AI 数字伴侣看见屏幕、摄像头与游戏画面【免费下载链接】airi 自托管、归你拥有的 Grok 风格 AI 伴侣与 waifu / 赛博生命灵魂容器目标是接近 Neuro-sama 的高度支持实时语音聊天、Minecraft 和 Factorio 游玩支持 Web / macOS / Windows。项目地址: https://gitcode.com/moeru-ai/airiAIRI 是一个开源、自托管的 AI 数字伴侣项目目标接近 Neuro-sama 的高度。它的视觉能力让这只赛博 waifu不再只听你说还能看见屏幕、摄像头画面和游戏窗口——你玩 Minecraft 时她会真正看到你的世界。本文用最简单的步骤教你三步让 AI 伴侣获得眼睛 。AIRI 是怎么看见的架构一图看懂AIRI 的视觉链路分为三层理解它就能轻松配置层次干什么对应模块 画面捕获截取窗口 / 显示器 / 摄像头帧electron-screen-capture 图像理解把画面发给支持视觉的模型VLMsettings/modules/vision.vue 注入对话识别结果作为上下文喂给角色devtools/vision.vue关键设计AIRI不维护独立的视觉 API 凭据而是复用你已配置好的聊天服务商OpenAI、Anthropic、Ollama、LM Studio、Amazon Bedrock 等的凭据从中挑选支持图像输入的模型。一套 Key 两用省去重复配置。三步配置最快让 AIRI 拥有视觉第一步选择视觉服务商打开设置 → 服务商 → 视觉选择你已配置过的聊天服务商如 Ollama、LM Studio 或任意云端服务商按卡片填写凭据字段与聊天版一致例如 API Key、Base URL配置页源码位于 providers/vision每个服务商都有独立的视觉配置卡片。第二步选择支持看图的模型⚠️最常见的踩坑点视觉入口可用 ≠ 模型能看图。必须在模型列表中选择一个明确支持图像输入的模型纯文本模型无法完成视觉任务。然后按需启用视觉功能可设置Capture interval捕获间隔控制截图频率。第三步启动 Vision Capture 让画面真正流动起来仅配置模型还不够需要启动捕获循环前往「系统 → 开发者 → Vision Capture」授予系统屏幕录制权限macOS 需在隐私与安全性中确认选择要捕获的窗口或显示器点击「Start ticker」想让识别结果进入 AIRI 对话时再开启「Publish to character」测试完毕点击「Stop ticker」——离开该页面也会自动停止捕获 Vision Capture 目前定位为桌面端的调试/开发工作流完整说明见桌面端开发者工具官方配置指南见配置视觉。本地模型也能用零成本私有视觉不想把屏幕画面发到云端AIRI 原生支持本地视觉方案Ollama/LM Studio本地跑一个支持图像输入的模型配置页见 providers/vision/ollama.vue确认可访问后再在视觉页选择对应模型即可画面全程不出本机隐私性拉满适合对数据安全敏感的用户进阶玩法computer-use-mcp 让伴侣看见并操作AIRI 仓库中的 computer-use-mcp 服务把视觉从被动观看升级为主动执行desktop_observe_windows/desktop_screenshot观察窗口列表、抓取屏幕desktop_click/desktop_type_text模拟鼠标键盘替你操作桌面browser_dom_*系列直接读写浏览器 DOM比盲点坐标精准得多每个动作都带审批队列、审计日志与截图存档audit.jsonl安全可控典型闭环AIRI 观察桌面状态 → 选择执行面终端 / 桌面 / 浏览器→ 执行动作 → 截图留证。她不仅看见你的代码跑挂了还能自己帮你重跑测试 配置不生效一张排查表搞定现象优先检查服务商无法保存API Key、Azure 资源名、Bedrock Region 等凭据字段是否完整模型无法分析图片该模型是否明确支持图像输入换视觉模型试试本地模型不可达本地服务是否运行、Base URL、端口与 CORS 设置卡在屏幕权限提示在操作系统中完成授权后完全退出并重启 AIRI请求被拒 / 额度不足服务商账户权限、模型可用地区与额度安全须知别让眼睛看到不该看的视觉分析会把画面发送给所选服务商请勿捕获包含 API Key、密码、个人信息或未经授权内容的画面测试结束后关闭捕获流不要公开含有桌面、通知或聊天内容的截图computer-use-mcp默认将 1Password、钥匙串、系统设置等敏感应用加入拒绝列表AIRI 自身也在列中以防自操作总结AIRI 的视觉能力由捕获 → 理解 → 注入三步组成配置只需选择服务商、挑一个能看图的模型、打开 Vision Capture 即可。配合本地 Ollama / LM Studio 可实现零成本私有视觉再用 computer-use-mcp 更进一步让你的 AI 数字伴侣从能看见进化到能动手 【免费下载链接】airi 自托管、归你拥有的 Grok 风格 AI 伴侣与 waifu / 赛博生命灵魂容器目标是接近 Neuro-sama 的高度支持实时语音聊天、Minecraft 和 Factorio 游玩支持 Web / macOS / Windows。项目地址: https://gitcode.com/moeru-ai/airi创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉