示例工程【免费下载链接】ailabExperience, Learn and Code the latest breakthrough innovations with Microsoft AI项目地址https://gitcode.com/gh_mirrors/ai/ailab点击查看免费下载Microsoft AI Lab 是微软面向开发者社区推出的 AI 实验开源项目核心理念可以概括为三个动词体验Experience、学习Learn、编码Code。它把微软 AI 部门的最新突破成果封装成一个个可动手实操的实验室每个实验都附带可运行的示例代码、开发者友好的演示视频以及对底层工程挑战与解决方案的解读。本文以仓库根目录的 README.md 为主线结合仓库中真实存在的源码目录为你梳理这个仓库的项目全景、每个实验的实战内容以及如何快速上手运行这些示例。AI Lab 是什么根据 README.md 的定位AI Lab 旨在帮助规模庞大且快速成长的开发者社区快速进入 AI 领域。它不是一个单一大模型产品而是一个实验集合体每个 Lab 都是一条完整的动手链路让你既能在线体验效果也能拿到源码在本地复现并通过配套视频理解背后的工程思路。仓库明确说明AI Lab 是微软与AI School以及微软研究院MSRAI 组织合作开发的成果。这意味着仓库内每一个实验项目背后都有对应的研究论文或工程实践作为支撑例如 Pix2Story 就基于 Skip-Thought Vectors 论文。仓库根目录的images/下保存了 AI Lab 官方主页截图可以直观看到实验平台的入口形态仓库项目全景README 清单与实际源码对照README 提到 AI Lab目前托管八个项目并随后给出了一个包含 10 个实验项目的清单Spektacom Power Bat、Snip Insights、Intelligent Robotics、Sketch 2 Code、Build a bot、Drawing Bot、JFK Files、Drones、Style Transfer、MRCMachine Reading Comprehension。README 还提到这些实验展示的技术方向包括 **custom vision自定义视觉、attnGAN、Visual Studio tools for AI、Cognitive Search认知搜索、Machine Reading Comprehension机器阅读理解**等。需要说明的是README 的清单是对 AI Lab 在线实验平台的汇总而当前仓库目录中实际包含源码的目录为以下七个外加 VirtualStage 背景抠像实验仓库目录对应实验核心技术主题Snip-InsightsSnip Insights跨平台智能截屏 认知服务Sketch2CodeSketch 2 Code手绘 UI 草图转 HTMLBuildAnIntelligentBotBuild a botBot Framework SDK V4 智能机器人JFKFilesJFK FilesCognitive Search 认知搜索档案理解MachineTeachingIntelligent Robotics机器教学Bonsai 强化学习工业控制Pix2StoryDrawing Bot图像叙事Skip-Thought Vectors 故事生成GoogleAssistantConnectorBuild a bot 的扩展Bot Framework 与 Google Assistant 集成其余实验Spektacom、Drones、Style Transfer、MRC 等从仓库目录结构看并未包含对应源码目录可以推断它们可能托管在其他独立仓库中本文聚焦仓库内实际可运行的实验项目。Snip Insights跨平台智能截屏工具Snip Insights 的定位是开源跨平台 AI 截屏工具用于从屏幕截图中直接生成智能洞察。其原型诞生于 2018 年微软 Build 大会由微软 Garage 实习生开发微软 AI Lab 团队与微软 AI CTO 团队合作将其升级为具有全新 UX 的跨平台应用支持Windows、macOS、Linux三大平台。根据 Snip-Insights 文档应用的能力完全由 Azure 认知服务驱动需要配置以下服务密钥Entity Search实体搜索认知服务Image Analysis / Text Recognition两者共用 Computer Vision API 的密钥Image SearchBing Search v7 APITranslatorTranslator Text APIContent Moderator内容审核 APILUIS App ID 与 Key需在 Language Understanding 门户创建应用并预置datetimeV2、email两个预构建实体后训练发布。配置入口在应用内的Settings图标下开启 Cognitive Services, Enable AI assistance 开关后即可填写各服务密钥与对应 Endpoint。仓库中对应的代码工程包括 SnipInsight、SnipInsight.FormsXamarin.Forms 共享 UI以及 SnipInsight.Forms.GTKGTK# 桌面实现。从目录结构可以推断应用通过状态机StateMachine/管理截屏、编辑、AI 分析等交互流程AI 相关逻辑集中在 AIServices 目录下。Sketch 2 Code手绘 UI 一键转 HTMLSketch 2 Code 用 AI 将手写的 UI 设计草图照片直接转换为可用的 HTML 标记代码。根据 Sketch2Code 文档其完整处理流程分为五步用户通过网站上传草图图片Custom Vision 模型预测图片中存在哪些 HTML 元素及其位置如按钮、文本框、图片手写文本识别服务Computer Vision读取预测元素内部的文字布局算法利用所有预测元素包围盒的空间信息生成适配的网格结构HTML 生成引擎综合上述信息生成最终 HTML 标记。整个方案由五个组件构成Custom Vision 模型、Computer Vision 服务、Azure Blob Storage存储原始图、results.json预测结果、groups.json布局分组等中间产物、Azure Function后端编排入口、Azure Web App上传与展示前端。对应的配置参数在文档中逐项列出例如 Azure Function 需要配置ObjectDetectionProjectName、ObjectDetectionPredictionKey、ObjectDetectionTrainingKey、Probability概率阈值示例为 40、HandwrittenTextApiEndpoint、ComputerVisionDelay调用间隔毫秒数等。仓库中 Sketch2Code.Api 是 Azure Function 宿主Sketch2Code.AI 封装了 Custom Vision 客户端与对象检测逻辑Sketch2Code.Core 承载实体与布局/HTML 生成服务Sketch2Code.Web 是 MVC 前端Sketch2Code.Tests 提供了对应的单元与集成测试。Build a bot用 Bot Framework SDK V4 打造订位机器人这是仓库中内容最详实的实验其 实验文档 完整讲述了如何用Bot Framework SDK V4为虚构的 Contoso 餐厅构建一个支持自然语言订位的交互式机器人。从仓库源码结构看工程以ChatBot/为核心包含控制器、对话框、中间件、模型与服务等分层。实验沿一条清晰的进阶路径展开每一步都有可复现的代码1. 环境搭建与快速起步安装 Visual Studio 2017 与 Bot Builder SDK V4 模板创建 Azure Web App Bot 资源并在 Bot Framework Emulator 中本地调试 Echo Botreadme.md。2. 接入 LUIS 语言理解在 Azure 创建 Language Understanding 资源F0 定价层导入talk-to-my-bot.json基础模型新增TodaysSpecialty意图与示例话语然后在Startup.cs中注册LuisRecognizervar luisApplication new LuisApplication( Configuration[LuisAppId], Configuration[LuisAPIKey], https:// Configuration[LuisAPIHostName]); services.AddSingleton(new LuisRecognizer(luisApplication));随后在EchoBot.cs的OnTurnAsync中调用_luis.RecognizeAsync提取最高分意图置信度阈值 0.5用 switch 分发处理。3. 视觉化回复Carousel通过HeroCard与MessageFactory.Carousel构造菜品推荐轮播卡片。4. 多轮对话流Dialogs安装Microsoft.Bot.Builder.Dialogs包以WaterfallDialog编排初始化状态 → 询问时间 → 询问人数 → 询问姓名 → 确认 → 完成六步订位流程并通过AmountPeopleValidatorAsync校验人数必须为数字。关键设计是跳过已提供信息的提问如果用户在初始话语中已说出时间TimeStepAsync会直接NextAsync跳过。5. QnA Maker 知识库创建 QnA Maker 资源并导入qna-ttmb-KB.tsv知识文件注册QnAMaker服务ScoreThreshold 0.9f, Top 1在默认回复兜底时先查询知识库。6. Personality Chat 闲聊人格通过PersonalityChatMiddleware配置Humorous幽默/Professional/Friendly三种人格让机器人具备寒暄能力。7. 语音能力TTS/STTSpeech 资源S0 层需选择 East US 以支持神经语音通过TextToSpeechService生成 SSML并配置 Web Chat 的SpeechRecognizer/SpeechSynthesizer。8. Custom Speech 自定义语音识别在 CRIS 门户导入语言数据集custom_speech_language_ds.txt与发音数据集custom_speech_pronunciation_ds.txt构建Food Language Model语言模型并部署 WebSocket 端点解决risotto、calzone等意式词汇的口音识别问题。9. 语音翻译通过自定义TranslatorSpeechMiddleware中间件将预录法语音频discounts_french.wav转写并翻译成英文交给 LUIS 处理再以法语语音回复实现跨语言对话。10. 嵌入 Web 应用将 Bot Framework Web Chat 控件botchat.jsCognitiveServices.js与初始化脚本嵌入静态网站index.html通过 Direct Line 密钥连接部署在 Azure 的机器人。JFK Files用 Cognitive Search 理解历史档案JFK Files 展示如何用Azure Cognitive Search认知搜索从海量非结构化历史档案中提取意义。背景是 2017 年美国公开了超过 3.4 万页 CIA 调查文档其中包含大量印刷文本、手写笔记、照片等传统搜索引擎难以解析的内容。根据 JFK Files 文档该实验的架构包含三类能力内置认知技能使用 Cognitive Services Vision API 对图片做 OCR、手写识别、图像标题生成应用命名实体识别NER提取文档中的实体自定义认知技能通过 Azure Functions 的可扩展机制插入自定义技能例如CIA Cryptonym 链接器link-cryptonyms——将文档中的 CIA 代号如GPFLOOR对应 Lee Harvey Oswald与人物描述关联以及hocr-generator将 OCR 元数据转换为 HOCR 开放标准、image-store上传图像注释到 Blob、facet-graph-nodes等独立前端站点用于搜索索引并浏览文档。实验完整走通了数据源 → 技能集 → 索引 → 索引器四条链路全部通过 Postman 调用 Azure Search REST API 完成仓库提供了 Postman 集合 中提到的请求文件并在高级管道中加入了同义词映射如oswald的多种拼写变体统一映射到 Oswald以提升召回率。对应的 Azure Function 源码位于 JfkWebApiSkills前端搜索应用位于 frontendTypeScript webpack 构建Azure 资源一键部署模板为 azuredeploy.json。文档同时列出了明确的限制与注意事项Cognitive Search 当时仅在 South Central US 与 West Europe 区域提供公开预览OCR 对手写识别处于预览阶段效果因扫描质量而异部分扫描版/原生 PDF 可能无法正确解析。Machine Teaching用 Bonsai 训练工业控制大脑Machine Teaching 实验体现的是机器教学范式——让领域专家把控制逻辑教给 AI而不是手工编写强化学习奖励函数。仓库包含三个仿真演示每个都提供 Inkling 大脑定义文件.ink、Bonsai 工程文件.bproj与 Python 仿真器Machine-CalibrationCNC 机床校准。金属切削中摩擦会降低精度需要专家反复旋钮并测量。用 Bonsai 训练一个大脑自动完成校准命令流程为bonsai create brain_name→pip3 install -r requirements.txt→bonsai push上传 Inkling 与仿真文件 →bonsai train start [--remote]开始训练 →python3 cnc_simulator.py连接仿真器 → 训练达标后bonsai train stop最后用python cnc_simulator.py --predict观察 AI 预测行为Motion-Control钻孔机运动控制演示同样提供drill_simulator.py与训练数据 CSVSmart-Building智能楼宇 HVAC 控制演示包含 25 份环境数据 CSV 与hvac_simulator.py。每个演示都体现了同一套工作流定义大脑 → 推送训练 → 连接仿真器 → 停止训练 → 获取预测非常适合理解 Bonsai 平台用 Inkling 语言描述教学意图的核心思想。Pix2Story看图生成故事的图像叙事 AIPix2Story 是一个基于Skip-Thought Vectors论文Ryan Kiros 等人与 neural-storyteller 项目的图像叙事 AI给定一张图片用不同文学体裁生成一段故事。其处理流水线分为三部分Pix2Story 文档视觉语义嵌入VSE先用卷积神经网络CNN提取图片的 annotation vectors再用 LSTM 解码器逐词生成简短描述性标题captionSkip-Thought 向量训练一个 encoder-decoder 模型利用书籍文本的连续性重建相邻句子得到通用的句子向量表示风格迁移Style shifting由于 VSE 输出的短描述句直接送入 Skip-Thought 解码器只能得到短句需要通过向量运算实现文体转换Skipthoughts Decoder Input 图片编码标题 − 全部标题编码的平均 与期望输出等长同特征文本的编码部署方面项目使用Azure Machine Learning Services Workspaces生成包含模型与文件的 Docker 镜像并通过Azure Kubernetes Services弹性扩展推理服务。仓库 config.py 中可配置语料路径与训练参数自定义训练流程为conda env create --file environment.yml创建环境 →activate storytelling→ 修改 config →python training.py训练编码器/解码器 → 生成 bias → 在 Python 控制台用generate.StoryGenerator().story(image_loc...)生成故事。GoogleAssistantConnector让 Bot Framework 接入 Google Assistant仓库还包含一个极具实用价值的扩展实验 GoogleAssistantConnector通过部署一个Google Assistant Proxy 代理服务让基于 Bot Framework 的机器人能够直接与 Google Assistant 对话。通信链路为Google AssistantActions on Google 项目→ 代理服务 → Bot Framework 的Direct Line通道。配置要点包括设置DIRECT_LINE_SECRET环境变量对应机器人 Direct Line 通道的密钥、确保 Node 版本不低于 7.10.1Azure 上通过WEBSITE_NODE_DEFAULT_VERSION设置、更新actions.json动作模板仓库Deploy/目录提供英文与西语两份示例中的 fulfillment URL最后用 gactions CLIgactions update --project PROJECTID ...同步到 Actions on Google 项目。代理的实现代码位于 GoogleAssistantProxyNode.jsDirect Line 到 Actions on Google 的转换库为 DirectLineToActionsOnGoogleLib。如何开始克隆仓库并运行示例git clone https://gitcode.com/gh_mirrors/ai/ailab克隆后即可按各实验文档操作.NET 相关的实验Build a bot、Sketch2Code、Snip Insights用 Visual Studio 打开对应的.sln解决方案并还原 NuGet 包Python 实验Pix2Story、Machine Teaching用 conda/pip 安装依赖后运行仿真脚本Node.js 实验GoogleAssistantConnector直接安装依赖启动。需要注意的是多数实验依赖 Azure 订阅与认知服务密钥动手前请先准备好相应资源。贡献指南ContributingREADME 明确欢迎社区的贡献与建议。贡献者通常需要签署Contributor License AgreementCLA声明你有权授予项目使用你的贡献提交 Pull Request 时 CLA 机器人会自动判断是否需要 CLA 并在 PR 上添加相应标签与评论。此外项目采用微软开源行为准则Microsoft Open Source Code of Conduct。开源许可License本仓库基于 MIT 许可 开源。这意味着你可以自由地学习、修改、分发这些实验代码用于个人学习或商业项目只需保留原始版权声明。总结Microsoft AI Lab 仓库是一份浓缩的微软 AI 技术栈动手手册——从视觉理解Sketch 2 Code、Snip Insights、对话式 AIBuild a bot、GoogleAssistantConnector、认知搜索JFK Files到生成式叙事Pix2Story与工业控制Machine Teaching每个实验都遵循体验 → 学习 → 编码的完整闭环。无论你是想快速验证一个 AI 想法的可行性还是想深入理解某类服务的工程集成方式都能在这里找到一条可复现的起步路径。赞分享示例工程【免费下载链接】ailabExperience, Learn and Code the latest breakthrough innovations with Microsoft AI项目地址https://gitcode.com/gh_mirrors/ai/ailab点击查看免费下载相关推荐AI技能精选库openclaw-master-skills2400每周更新的完整指南AI技能精选库openclaw master skills2400每周更新的完整指南 openclaw master skillsOpenClaw 大师技人工智能AI 技能微软AI Lab合作案例解析从学术机构到企业的创新实践指南微软AI Lab作为微软人工智能生态系统的重要组成部分通过与学术机构和企业建立深度合作关系为开发者提供了体验、学习和编码最新AI创新的平台。这个 AI La示例工程探索技术创新HOK_ENV - 腾讯AI Lab的强化学习环境探索技术创新HOK_ENV 腾讯AI Lab的强化学习环境 是腾讯AI Lab推出的一个开源强化学习Reinforcement Learning, RL环人工智能强化学习游戏开发上一篇腾讯混元开源InstantCharacter一张图一句话AI角色生成进入身份一致时代下一篇Alpine.js表单处理完全指南x-model与验证实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考