Roo Code 2.2.16通过 AWS Bedrock 统一接入 Amazon Titan 与 Meta Llama 模型【免费下载链接】Roo-CodeRoo Code gives you a whole dev team of AI agents in your code editor.项目地址: https://gitcode.com/GitHub_Trending/ro/Roo-Code本文基于 Roo Code 2.2.16 版本的官方更新说明结合仓库源码Bedrock Provider 实现、模型定义、配置文档与测试用例系统解析该版本新增的 Amazon Titan 与 Meta Llama 模型支持以及 统一 Bedrock 调用 背后的技术实现。读完你将掌握2.2.16 引入哪些新模型与对应模型 ID、统一调用架构如何工作、如何在 Roo Code 中完成 Bedrock 认证与模型配置以及各模型的能力参数上下文窗口、最大输出 token、价格如何查阅与验证。一、版本背景与变更概览2.2.16 更新说明 是一份精炼的发布记录核心变更只有一句话通过 AWS Bedrock 新增对 Amazon Titan 与 Meta Llama 模型3、3.1、3.2的支持并统一了 Bedrock 调用由社区贡献者 Premshay 的 PR 引入。仓库根目录的 CHANGELOG.md 给出了更完整的表述Incorporate Premshays PR to add support for Amazon Nova and Meta Llama Models via Bedrock (3, 3.1, 3.2) and unified Bedrock calls using BedrockClient and Bedrock Runtime API这透露出 2.2.16 的两个关键动作模型扩容将 Roo Code 的模型选择范围从 Claude 系扩展到了 Bedrock 生态内的 Titan 与 Llama 系列架构统一底层统一改用 AWS 官方 SDK 的BedrockRuntimeClient与 Bedrock Runtime APIConverse API使得所有模型的请求走同一条代码路径而非为每个模型家族维护独立调用逻辑。二、新增模型详解Amazon Titan 与 Meta Llama2.1 模型 ID 与能力参数在仓库的模型注册表中packages/types/src/providers/bedrock.tsbedrockModels对象集中定义了所有 Bedrock 模型的能力元数据。2.2.16 引入的 Titan 与 Llama 模型当前在仓库中对应的条目如下Amazon Titan 文本模型模型 IDmaxTokenscontextWindow图像输入输入价$/1M tokens输出价$/1M tokensamazon.titan-text-lite-v1:040968000不支持0.150.20amazon.titan-text-express-v1:040968000不支持0.200.60Meta Llama 3 / 3.1 / 3.2 系列模型 IDmaxTokenscontextWindow图像输入输入价$/1M tokens输出价$/1M tokensmeta.llama3-8b-instruct-v1:020484000不支持0.300.60meta.llama3-70b-instruct-v1:020488000不支持2.653.50meta.llama3-1-8b-instruct-v1:081928000不支持0.220.22meta.llama3-1-70b-instruct-v1:08192128000不支持0.720.72meta.llama3-1-70b-instruct-latency-optimized-v1:08192128000不支持0.900.90meta.llama3-1-405b-instruct-v1:08192128000不支持2.402.40meta.llama3-2-1b-instruct-v1:08192128000不支持0.100.10meta.llama3-2-3b-instruct-v1:08192128000不支持0.150.15meta.llama3-2-11b-instruct-v1:08192128000支持0.160.16meta.llama3-2-90b-instruct-v1:08192128000支持0.720.72meta.llama3-3-70b-instruct-v1:08192128000不支持0.720.72以上参数直接取自 packages/types/src/providers/bedrock.ts 的bedrockModels定义价格按每百万 token 计与 AWS US-West-2 标价口径一致。几个值得注意的要点配置时使用模型 ID 而非模型名称例如必须写meta.llama3-1-70b-instruct-v1:0而不是 Llama 3.1 70BLlama 3.2 的 11B 与 90B 版本是这一系列中支持图像输入的成员supportsImages: trueTitan 与 Llama 均不支持 prompt cachesupportsPromptCache: false而 Claude 系列大多支持这意味着这些模型在长会话中的缓存优化能力有限8B/70B 的 Llama 3 老版本上下文窗口较短4K/8K而 3.1/3.2 系列普遍提升到 128K。2.2 从 支持 到 可选 的落地路径支持某模型 在 Roo Code 中并非一个开关而是一组配套数据bedrockModels中的能力元数据上下文窗口、maxTokens、价格、缓存能力用于请求构造与成本统计BedrockModelId类型keyof typeof bedrockModels用于类型系统约束保证传入的模型 ID 一定在注册表内若用户填入一个不在注册表中的自定义模型 ID如通过 ARN 指定的自定义模型代码会走 bedrock.ts 中的guessModelInfoFromId做启发式推断或回退到BEDROCK_MAX_TOKENS4096与BEDROCK_DEFAULT_CONTEXT128000作为兜底参数。三、技术内幕Bedrock 调用为何要 统一3.1 统一到 Converse API2.2.16 之前Roo Code 对不同模型家族可能需要拼接不同的请求体例如 Titan 走InvokeModel的 JSON 格式、Claude 走 Anthropic 兼容格式。统一之后src/api/providers/bedrock.ts 中的AwsBedrockHandler一律使用import { BedrockRuntimeClient, ConverseStreamCommand, ConverseCommand, } from aws-sdk/client-bedrock-runtime流式对话走ConverseStreamCommandcreateMessage主路径一次性提示补全走ConverseCommandcompletePrompt用于标题生成等场景。Converse API 是 AWS 为多模型统一交互设计的抽象层开发者只需按统一的messages、system、inferenceConfig、toolConfig结构发请求Bedrock 负责将请求翻译成各模型的方言。这让新增模型从写一套新适配器降级为注册一条元数据。3.2 消息格式转换链路既然 Converse 要求统一的消息结构而 Roo Code 内部统一使用 Anthropic 消息格式就需要一层转换。该转换被抽成了独立的纯函数模块 src/api/transform/bedrock-converse-format.tsconvertToBedrockConverseMessages将 Anthropic 的MessageParam[]逐条映射为 Converse 的Message[]角色映射assistant → assistant其余一律user内容块映射text块直接对应{ text }图片/视频/tool_use/tool_result 各有对应结构图片走 base64 source视频走 s3Location字符串形式的content纯文本消息会被包装为单元素ContentBlock[]。AwsBedrockHandler在调用该转换后还会根据是否启用 prompt cache通过MultiPointStrategy见 src/api/transform/cache-strategy/multi-point-strategy.ts计算缓存点插入位置并在消息尾部追加cachePoint块。这是 Claude 模型缓存优化的核心环节而 Titan/Llama 因supportsPromptCache: false不会命中该路径。3.3 流式事件的多结构兼容处理统一调用后还有一个细节不同 AWS SDK 版本返回的流事件结构存在差异。AwsBedrockHandler为此做了兼容性设计同时识别三种结构contentBlockStart.contentBlock.reasoningContent官方推理结构contentBlock.content_block.type thinking部分 SDK 版本的替代结构delta.reasoningContent.text/delta.thinking增量流中的推理文本统一转译为 Roo Code 内部流类型text、reasoning、tool_call_partial、usage再交给上层消费。四、在 Roo Code 中配置 Bedrock含新模型官方配置文档位于 apps/docs/docs/providers/bedrock.md结合 2.2.16 的模型扩容完整配置路径如下。4.1 前置条件有效的 AWS 账户且已申请开通 Bedrock 服务在 Bedrock 控制台中申请目标模型的访问权限如 Titan、Llama 系列各自需要单独开启安装 AWS CLI 并完成本地认证初始化aws configure4.2 获取凭证二选一Access Key推荐用于开发创建具备bedrock:InvokeModel权限的 IAM 用户生成该用户的 Access Key ID 与 Secret Access Key若 IAM 策略要求临时凭证可额外提供 Session Token。AWS Profile通过aws configure或手工编辑 AWS credentials 文件配置命名 profile如default。4.3 界面配置步骤打开 Roo Code 面板点击齿轮图标进入Settings在API Provider下拉框中选择Bedrock选择认证方式并填写对应字段Access Key / Secret Key / Session Token或 Profile 名称选择 AWS 区域如us-east-1可选勾选Use cross-region inference启用跨区域推理可选企业场景勾选Use VPC Endpoint并填写 VPC Endpoint URL将所有 LLM 请求限定在企业内网在Model下拉框中选择目标模型——2.2.16 起可在此处直接选择 Titan 与 Llama 系列。4.4 底层如何匹配你的配置从源码看AwsBedrockHandler的构造函数src/api/providers/bedrock.ts按以下优先级组装 AWS 客户端凭据API Key 方式awsUseApiKey awsApiKey时使用clientConfig.token { token }并强制authSchemePreference [httpBearerAuth]注释说明这是兼容 LiteLLM 透传所必需的同时设置requestTimeout: 0Profile 方式awsUseProfile awsProfile时通过fromIni({ profile, ignoreCache: true })读取本地 AWS 配置直连密钥awsAccessKey awsSecretKey时直接构造 credentials若存在awsSessionToken一并带上。此外还支持通过awsCustomArn直接指定模型的 ARN如推理配置arn:aws:bedrock:us-west-2:123456789012:inference-profile/...或自定义模型arn:...:provisioned-model/...并支持自定义awsBedrockEndpoint配合 VPC Endpoint 使用。五、ARN 解析与多分区兼容当使用自定义 ARN 时AwsBedrockHandler通过parseArnsrc/api/providers/bedrock.ts解析其正则支持任意 AWS partitionconst arnRegex /^arn:[^:]:(?:bedrock|sagemaker):([^:]):([^:]*):(?:([^\/])\/([\w\.\-:])|([^\/]))$/可解析的资源类型包括基础模型arn:aws:bedrock:us-west-2::foundation-model/anthropic.claude-v2推理配置Inference Profilearn:aws:bedrock:us-west-2:123456789012:inference-profile/anthropic.claude-v2跨区域推理配置arn:aws:bedrock:us-west-2:123456789012:inference-profile/us.anthropic.claude-3-5-sonnet-20241022-v2:0预置吞吐Provisioned Throughputarn:...:provisioned-model/my-custom-model导入模型Imported Modelarn:...:imported-model/my-imported-model解析出的 region 若与用户所选区域不一致会以 ARN 中的区域为准并记录日志无效 ARN 会抛出带INVALID_ARN_FORMAT:前缀的错误便于上层统一捕获。同时跨区域推理前缀会通过 packages/types/src/providers/bedrock.ts 的AWS_INFERENCE_PROFILE_MAPPING被剥离us.、eu.、jp.、apac.、au.等得到基础模型 ID用于后续的能力与特性判断。六、测试验证新增能力的质量保障仓库针对 Bedrock 提供者的测试覆盖了本次变更涉及的多个维度src/api/providers/tests/bedrock.spec.ts 验证了parseArn对基础模型、跨区域推理配置、区域不匹配等场景的解析结果无效 ARN 抛出INVALID_ARN_FORMAT错误parseBaseModelId(amazon.titan-text-express-v1)原样保留 Titan 模型 IDservice tier、1M context 等高级特性在请求 payload 中的字段位置如us.前缀拼接。src/api/providers/tests/bedrock-inference-profiles.spec.ts 专门覆盖推理配置的解析与匹配。从这些测试可以确认统一后的 Bedrock 调用路径对 Titan、Llama 与 Claude 走的是同一套 Converse 逻辑模型差异全部收敛在注册表元数据与 ARN 解析之中。七、使用建议与注意事项按需启用模型访问Bedrock 的模型访问是按模型逐一授权的选择 Llama 前请确认已在控制台开启对应模型关注成本口径Titan/Llama 系列不支持 prompt cache长上下文会话的 token 全部按输入价计费Titan Text 的 8K 上下文与 Llama 3非 3.1/3.2的 4K/8K 上下文对长文档任务限制明显建议优先选择 128K 的 3.1/3.2 系列推理预算仅限 Claude扩展思考reasoning budget特性只对supportsReasoningBudget: true的 Claude 模型生效apps/docs/docs/providers/bedrock.md 中的说明Titan/Llama 不适用IAM 权限最小化至少需要bedrock:InvokeModel使用 VPC Endpoint 时确保 Endpoint 策略放行目标模型的调用。八、小结Roo Code 2.2.16 以一次 PR 完成了两件事把 Amazon Titan 与 Meta Llama 3/3.1/3.2 纳入 Bedrock 提供者的模型清单并将底层调用统一到 AWSBedrockRuntimeClient Converse API。前者让模型选择面从 Claude 一家扩展到整个 Bedrock 生态后者则通过统一请求结构 注册表元数据驱动的架构把未来新增模型的成本降到了最低。如果你想在编码助手中引入 Bedrock 上的多厂商模型2.2.16 的设计就是可参照的范本模型能力集中定义、消息转换独立成模块、流式事件做多版本兼容最终由一套测试兜底。【免费下载链接】Roo-CodeRoo Code gives you a whole dev team of AI agents in your code editor.项目地址: https://gitcode.com/GitHub_Trending/ro/Roo-Code创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考