新闻详情

新闻详情

首页 / 资讯中心 / 详情

BentoML BentoCloud 在 Azure 上的 BYOC 部署配置指南:服务主体授权与配额规划

发布时间:2026/11/18 16:02:38来源:尧图网络
BentoML BentoCloud 在 Azure 上的 BYOC 部署配置指南:服务主体授权与配额规划
模型推理服务人工智能后端大模型MLOpsLLMOps【免费下载链接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!项目地址https://gitcode.com/gh_mirrors/be/BentoML点击查看免费下载本文是 BentoCloud「Bring Your Own CloudBYOC」在 Microsoft Azure 上部署的完整实操指南围绕 Azure 服务主体Service Principal的创建、最小权限授予与bcAdminSP.json凭证交接展开适用于计划将 BentoCloud 集群部署到自己 Azure 订阅中的 DevOps 团队。读完本文你将掌握部署前的配额规划方法、使用 Azure CLI 与官方设置脚本完成资源授权的标准流程以及交付凭证给 BentoML 团队的完整交接步骤。背景为什么要在 Azure 上部署 BentoCloud BYOCBentoCloud 的 BYOC 方案属于 Enterprise 计划将自建云环境的控制力与全托管服务的运维便利结合起来。在 BYOC 模型下Bento 算子operators与 Deployment 都运行在你自己的虚拟私有云VPC内数据与模型始终保存在你的环境中同时由 BentoCloud 负责日常运维。详细架构说明可参考 Bring Your Own Cloud 概览文档该文档指出 BYOC 会自动创建 Kubernetes 集群、对象存储、键值存储等基础设施资源。要在你的 Azure 订阅中创建并管理这些资源BentoCloud 需要获得对应的授权。本文所介绍的核心机制是在 BentoML 的 Azure 租户中配置一个服务主体Service Principal并把所需角色授予该服务主体。这个服务主体将被用于在 Azure 账户内创建和管理运行 BentoCloud 所需的各类资源例如 Azure Kubernetes ServiceAKS、Blob Storage 与 Redis Cache。第一步在部署前申请足够的配额集群创建过程是否顺畅很大程度上取决于部署目标订阅与区域的配额是否充足。官方建议在开始任何设置之前先确认你的 Azure 账户中拥有足够的服务配额Service Quotas不足时应在计划部署 BentoCloud 的订阅和区域中提前申请提升配额以避免集群创建被配额限制阻塞。配额申请操作登录 Azure 门户在搜索框中输入Quotas并选择Quotas。在Overview页面中选择Compute。根据部署计划在正确的订阅与区域中提交配额提升请求。配额需求速查表下表是官方建议的配额基线按 CPU 与 GPU 两类分别说明类型配额名称需求数量用途CPUTotal Regional vCPUs与Standard DSv3 Family vCPUs32运行基础设施工作负载、镜像构建 Pod 以及推理服务实例GPU按需选择T4 对应Standard NCASv3_T4 Family vCPUsA100 对应Standard NCADS_A100_v4 Family vCPUs按需运行需要 GPU 的工作负载需要注意GPU 配额的具体名称与数量取决于你的实际工作负载类型如果计划运行 T4 GPU 推理请关注Standard NCASv3_T4 Family vCPUs如果计划运行 A100 GPU 推理请关注Standard NCADS_A100_v4 Family vCPUs。两者都属于按需申请配额数量依据实际部署规模确定。CPU 侧则建议保证至少 32 个 vCPU 的余量以覆盖基础设施、镜像构建与模型服务三部分的同时占用。第二步配置 Azure 服务主体并运行设置脚本完成配额准备后即可开始正式的授权配置。整个过程可以归纳为四个子步骤登录门户与 CLI、选定订阅、执行官方设置脚本、交接凭证文件。1. 登录 Azure 门户与 Azure CLI登录 Azure 门户。安装 Azure CLI然后在终端中运行az login完成登录认证。2. 指定目标订阅如果你的账户下存在多个订阅务必先切换到计划部署 BentoCloud 的那一个az account set --subscription Subscription Name or ID这里的Subscription Name or ID替换为你的订阅名称或订阅 ID。该步骤很关键后续设置脚本创建的所有资源都会落在当前选定的订阅内订阅选错将导致资源被部署到错误的账户环境。3. 运行官方设置脚本执行以下命令该脚本会自动配置 BentoCloud 所需的 Azure 资源如虚拟机、网络及其他服务执行过程中会提示你指定 BentoCloud 的部署区域bash (curl https://l.bentoml.com/bentocloud_azure_setup_script -sL)脚本会交互式地询问区域请根据配额规划阶段确定的部署区域作答。注意脚本依赖jq来解析 Azure CLI 输出的 JSON 结果请确保你的系统中已安装jq。可通过jq --version验证若未安装在 Ubuntu/Debian 上可用sudo apt-get install jq在 macOS 上可用brew install jq。4. 脚本授予的权限范围脚本所配置的权限集覆盖了创建和管理 BentoCloud 集群在 Azure 上运行所需全部资源的操作包括Azure Kubernetes ServiceAKS承载 Bento 算子与 Deployment 的容器编排集群Blob Storage模型与 Bento 包的对象存储Redis Cache作为键值存储支撑服务状态同步等场景。权限授予范围被严格限制在资源组bentocloud-region内region为你在脚本交互中指定的部署区域不会授予该资源组以外的任何资源权限。这一设计遵循了最小权限原则即使服务主体凭证发生泄漏攻击面也被圈定在单个资源组内从而降低对 Azure 账户整体的风险。从仓库源码结构看BentoCloud 的客户端能力集中在 src/bentoml/_internal/cloud 目录下其中 client.py、bento.py 与 deployment.py 分别对应 BentoCloud 平台客户端、Bento 上传与管理、Deployment 生命周期管理等能力配合 BentoML CLI见 src/bentoml_cli/cli.py即可在 BYOC 集群就绪后完成 Bento 的部署与发布。BYOC 的 Azure 授权机制正是为这些上层能力提供底层云资源的保障。5. 交接凭证文件脚本执行完成后会在当前目录生成名为bcAdminSP.json的文件其中包含服务主体的凭据信息。请通过安全渠道例如加密邮件或受控的密码管理工具将该文件分享给 BentoML 团队以便他们使用该服务主体在你的 Azure 账户中创建并管理 BentoCloud 集群。第三步交付后的后续流程将bcAdminSP.json与部署区域信息交给 BentoML 团队后集群的剩余搭建工作将由 BentoCloud 自动化流程继续完成。在集群创建期间BentoCloud 会在你的 Azure 资源组内按需创建 AKS、Blob Storage、Redis Cache 等资源并安装对应的云算子此后开发者便可以通过 BentoCloud Console 或 BentoML CLI 部署 Bento控制平面Control Plane部署在你的私有环境之外会与集群内的远程算子实时同步状态确保集群状态与配置定义保持一致。获取帮助与故障排查如果在设置过程中遇到问题或有疑问可联系 BentoML 支持团队supportbentoml.com或通过官方支持 Slack 频道沟通。支持团队通常可协助解决以下几类问题每个设置步骤的详细讲解常见问题的排查例如 API 激活错误、权限问题或脚本执行失败在 Azure 环境中管理 BentoCloud 的最佳实践。关键要点回顾配额先行在开始设置前确保目标订阅与区域的Total Regional vCPUs、Standard DSv3 Family vCPUs及所需 GPU 系列配额充足CPU 建议 32 vCPU 起步。授权最小化官方设置脚本创建的服务主体权限被严格限定在bentocloud-region资源组内用于 AKS、Blob Storage 与 Redis Cache 的创建与管理。凭证安全交接bcAdminSP.json是 BentoML 团队接管集群创建的钥匙必须通过安全渠道传递。前置依赖运行设置脚本前需安装 Azure CLI 与jq并确认当前订阅正确。通过以上步骤你的 Azure 账户即可完成 BentoCloud BYOC 的授权配置后续的集群创建与运维将由 BentoML 自动化流程接管。赞分享模型推理服务人工智能后端大模型MLOpsLLMOps【免费下载链接】BentoMLThe easiest way to serve AI apps and models - Build Model Inference APIs, Job queues, LLM apps, Multi-model pipelines, and more!项目地址https://gitcode.com/gh_mirrors/be/BentoML点击查看免费下载相关推荐Velero 在 Azure 上的完整部署指南存储账户、服务主体与备份/快照配置实战Velero 在 Azure 上的完整部署指南存储账户、服务主体与备份/快照配置实战 本指南以 Velero 官方文档 site/content/docs/v云原生灾备存储后端在 Azure 上部署与配置 ArkHeptio Ark v0.10从存储账户到服务主体与卷快照的完整指南在 Azure 上部署与配置 ArkHeptio Ark v0.10从存储账户到服务主体与卷快照的完整指南 本文以 Ark v0.10.0 的 Azure云原生灾备存储后端ArkVelero 前身在 Azure 上的配置指南存储账户、服务主体与备份配置全流程ArkVelero 前身在 Azure 上的配置指南存储账户、服务主体与备份配置全流程 本篇技术指南以 Ark v0.7.0 官方配置文档为核心完整讲解云原生灾备存储后端上一篇Dgraph事务吞吐量瓶颈识别与消除方法下一篇RealSRCVPR 2020冠军方案揭秘如何通过核估计与噪声注入实现真实世界超分辨率创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉