消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载本文以 Pulsar 官方文档《Token authentication admin》security-token-admin.md为主线系统讲解基于 JWTRFC-7519的 Token 认证在 Pulsar 中的完整落地流程从密钥对/对称密钥的生成、带 subject 与过期时间的 Token 签发、命名空间授权到 Broker 与 Proxy 两侧的认证配置。读完本文你可以独立完成一套生产可用的 Token 认证体系配置并从源码层面理解 Pulsar 是如何解析、校验 Token 的。1. Token 认证概述Principal 与 JWTPulsar 支持使用基于 JSON Web TokensRFC-7519的安全令牌来认证客户端。Token 的作用是把 Pulsar 客户端与某个principal也叫 role角色关联起来之后授权引擎再根据这个角色授予相应的操作权限例如向某个 topic 发布消息或从某个 topic 消费。用户或角色通常会从管理员或某个自动化服务处获得一段 token 字符串。一个签名 JWT 的紧凑表示形如eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJKb2UifQ.ipevRNuRP6HflG8cFKnmUPtypruRC4fb1DWtoLL62SY创建客户端实例时应用可以直接指定 token 字符串也可以传入一个token supplier——即一个在客户端库需要 token 时返回 token 的函数这种方式便于在 token 过期时自动刷新。Java 客户端侧对应实现见 AuthenticationToken它同时支持SupplierString形式的动态供应第 49~55 行。安全提示务必启用 TLS 传输加密发送 token 等价于在网络上发送密码。与 Pulsar 服务通信时强烈建议始终启用 TLS 加密传输参见文档体系中的 Transport Encryption using TLS 主题对应文档 security-tls-transport。2. 密钥体系Secret Key 与 Public/Private KeyJWT 支持两类密钥来生成和校验 Token对称Symmetric只有一把Secret密钥既用于生成 Token也用于校验 Token非对称Asymmetric一对密钥。Private私钥用于生成 TokenPublic公钥用于校验 Token。2.1 创建 Secret Key使用对称密钥时管理员创建密钥并用它生成客户端 Token同一把密钥还会配置到各 Broker 上使 Broker 能够校验客户端。输出文件默认生成在 Pulsar 安装目录的根目录下也可以为输出文件指定绝对路径。$ bin/pulsar tokens create-secret-key --output my-secret.key如果需要生成 base64 编码的密钥文件$ bin/pulsar tokens create-secret-key --output /opt/my-secret.key --base64从 TokensCliUtils 中的CommandCreateSecretKey第 58~86 行可以看到该命令的完整参数集-a, --signature-algorithm签名算法默认 HS256-o, --output把密钥写入文件而非 stdout-b, --base64对密钥做 base64 编码默认 false即原始二进制 DER 编码直接写文件。底层生成逻辑委托给 AuthTokenUtils 的createSecretKey()第 48~50 行由 jjwt 库的Keys.secretKeyFor(algorithm)完成。2.2 创建 Public/Private 密钥对使用非对称体系时需要创建一对密钥。Pulsar 支持 jjwt 库所支持的全部签名算法HS256/RS256/ES256 等可通过--signature-algorithm指定。输出文件默认生成在 Pulsar 安装目录的根目录下也可以为输出文件指定绝对路径。$ bin/pulsar tokens create-key-pair --output-private-key my-private.key --output-public-key my-public.keymy-private.key应存放在安全位置仅由管理员用于生成新 Tokenmy-public.key需要分发到所有 Pulsar Broker。公钥可以公开共享不会带来安全问题。源码层面CommandCreateKeyPairTokensCliUtils 第 88~107 行默认使用RS256算法两个输出文件均为必填参数。这里有一个容易踩坑的细节--output-*写出的是key.getEncoded()原始字节即 DER 编码公钥为 X.509/SubjectPublicKeyInfo 格式私钥为 PKCS8 格式。校验端也严格按此解码AuthTokenUtils 的decodePrivateKey使用PKCS8EncodedKeySpecdecodePublicKey使用X509EncodedKeySpec。这就是官方文档强调key files must be DER-encoded的源码依据——PEM 格式Base64 文本包裹的密钥文件无法被 Broker 直接读取。3. 生成 TokenToken 是与用户角色绑定的凭据绑定关系通过 principal/role 完成。对于 JWT Token这个字段通常称为subjectsubject 与 principal 是完全相同的概念。生成的 Token必须设置 subject 字段。使用对称密钥签发$ bin/pulsar tokens create --secret-key file:///path/to/my-secret.key \ --subject test-user执行后 Token 字符串会打印到 stdout。同样也可以用私钥签发$ bin/pulsar tokens create --private-key file:///path/to/my-private.key \ --subject test-user还可以为 Token 预定义 TTL存活时间。超过该时间后Token 会被自动作废$ bin/pulsar tokens create --secret-key file:///path/to/my-secret.key \ --subject test-user \ --expiry-time 1y结合 TokensCliUtils 中的CommandCreateToken第 109~172 行create子命令的完整行为如下参数说明-s, --subject必填。指定该 Token 关联的 subject 或 principal-sk, --secret-key用对称密钥签名。支持data:、file:等 URL 形式与-pk互斥必须且只能二选一-pk, --private-key用私钥签名支持data:、file:等 URL 形式-e, --expiry-time相对过期时间如1h、3d、10ym表示分钟默认不过期-a, --signature-algorithm签名算法默认 RS256过期时间通过RelativeTimeUtil.parseRelativeTimeInSeconds解析为相对秒数再加到当前时间上作为 JWT 的expclaim签名与组装则由 AuthTokenUtils 的createToken()完成设置 subject可选设置 expiration最后compact()输出紧凑格式。密钥路径的灵活格式--secret-key/--private-key/--public-key的值由AuthTokenUtils.readKeyFromUrl()第 102~126 行解析按以下优先级尝试data:或file:URL → 本地存在的文件路径 → 直接的 base64 字符串。因此除文档中的file:///path/...写法外也可以直接内联 base64 内容。4. 授权Authorization给 Token 授予权限Token 本身不携带任何权限。权限由授权引擎authorization engine决定。Token 创建之后可以为其关联的角色授予特定操作的权限例如$ bin/pulsar-admin namespaces grant-permission my-tenant/my-namespace \ --role test-user \ --actions produce,consume也就是说tokens create解决你是谁认证pulsar-admin namespaces grant-permission解决你能做什么授权两者缺一不可。如果集群中部署了 Proxy还需注意一点Proxy 与 Broker 通信时会使用自己的角色通常是一个专用角色该角色需要加入 Broker 侧配置的proxyRoles中。ServiceConfiguration 中proxyRoles的定义第 1395 行附近也说明了其语义来自proxyRoles中角色的请求会被要求出示原始客户端的认证数据从而保证 Proxy 不能伪造任意角色。授权细节可参考文档体系中的 Authorization 主题security-authorization。5. 在 Broker 上启用 Token 认证在broker.conf仓库中的默认模板见 conf/broker.conf中配置以下内容# Configuration to enable authentication and authorization authenticationEnabledtrue authorizationEnabledtrue authenticationProvidersorg.apache.pulsar.broker.authentication.AuthenticationProviderToken # If using secret key (Note: key files must be DER-encoded) tokenSecretKeyfile:///path/to/secret.key # The key can also be passed inline: # tokenSecretKeydata:;base64,FLFyW0oLJ2Fi22KKCm21J18mbAdztfSHN/lAT5ucEKU # If using public/private (Note: key files must be DER-encoded) # tokenPublicKeyfile:///path/to/public.key5.1 Broker 侧校验逻辑源码解读配置项authenticationProviders指向的org.apache.pulsar.broker.authentication.AuthenticationProviderToken其实现位于 AuthenticationProviderToken。关键行为均可在源码中印证启动时加载校验密钥initialize()第 120~145 行从配置读取tokenSecretKey/tokenPublicKey二者至少配置其一否则抛出 No secret key was provided for token authentication并提前构建好JwtParser。密钥读取同样复用AuthTokenUtils.readKeyFromUrl()所以file://路径与data:;base64,...内联两种方式都被支持——这正是broker.conf示例中两种写法能共存的底层原因。角色 claim 默认是subgetTokenRoleClaim()第 277~284 行显示若未配置tokenAuthClaim则取 JWT 的subsubject字段作为角色名。这就是生成 Token 时必须设置 subject的必然性。公钥算法默认 RS256getPublicKeyAlgType()第 286~297 行在未配置tokenPublicAlg时默认使用SignatureAlgorithm.RS256与create-key-pair命令的默认算法保持一致。HTTP 请求走 Bearer 头getToken()第 174~192 行区分两种通道——Pulsar 二进制协议的CommandAuth数据以及 HTTP 请求头Authorization: Bearer token符合 RFC-6750。过期时间持续受检TokenAuthenticationState第 319~375 行在构造时记录 JWT 的 expirationisExpired()会持续与当前时间比较同时 Provider 注册了两个 Prometheus 指标pulsar_expired_token_count与pulsar_expiring_token_minutes第 76~85 行可在监控中观察 Token 过期情况。可选的 audience 校验若配置了tokenAudienceClaim则必须同时配置tokenAudienceauthenticateToken()第 207~232 行会校验 Token 中该 claim 是否包含本 Broker 的 audience 值用于在共享密钥的多服务集群间隔离 Token 的适用范围。相关行为另有单元测试 AuthenticationProviderTokenTest 与端到端集成测试 TokenAuthWithSymmetricKeys 覆盖。6. 在 Proxy 上启用 Token 认证在proxy.conf模板见 conf/proxy.conf中配置如下# For clients connecting to the proxy authenticationEnabledtrue authorizationEnabledtrue authenticationProvidersorg.apache.pulsar.broker.authentication.AuthenticationProviderToken tokenSecretKeyfile:///path/to/secret.key # For the proxy to connect to brokers brokerClientAuthenticationPluginorg.apache.pulsar.client.impl.auth.AuthenticationToken brokerClientAuthenticationParameters{token:eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ0ZXN0LXVzZXIifQ.9OHgE9ZUDeBTZs7nSMEFIuGNEX18FLR3qvy8mqxSxXw} # Or, alternatively, read token from file # brokerClientAuthenticationParametersfile:///path/to/proxy-token.txt注意 Proxy 处于双重身份对客户端Proxy 用authenticationProviders中的 Token Provider 校验连接它的客户端对 BrokerProxy 本身也是一个 Pulsar 客户端需要携带自己的 Token 与 Broker 通信通过brokerClientAuthenticationPluginbrokerClientAuthenticationParameters配置。该角色应加入 Broker 的proxyRoles见第 4 节。brokerClientAuthenticationParameters的解析逻辑在 AuthenticationToken 的configure()第 73~91 行中支持四种写法{token:...}形式的 JSON 字符串上例file:///path/to/token.txt—— 从文件读取 Tokentoken:xxxx前缀形式裸 Token 字符串既不是 JSON 也不是 file: URL 时按此处理。7. 补充Token 查看与校验命令除文档重点介绍的create-secret-key、create-key-pair、create之外pulsar tokens命令组入口即 TokensCliUtils 的main第 329~349 行按子命令分派还提供两个日常运维常用的子命令bin/pulsar tokens show打印 Token 的 header 与 payloadBase64URL 解码后的 JSONToken 可通过位置参数、--stdin、--token-file或环境变量TOKEN传入bin/pulsar tokens validate用--secret-key或--public-key校验一个 Token 的签名与有效期成功后打印 claims 内容。这两个命令适合在排查客户端拿到的 Token 到底是谁签发的、何时过期时快速定位问题。小结本文沿着官方文档《Token authentication admin》的完整脉络覆盖了对称/非对称两种密钥体系的创建注意 DER 编码约束与默认算法 HS256/RS256、带 subject 与相对过期时间的 Token 签发、通过grant-permission的授权衔接以及 Broker 与 Proxy 两侧的配置。源码证据TokensCliUtils、AuthTokenUtils、AuthenticationProviderToken、AuthenticationToken进一步印证了每个配置项的实际生效路径读者可按此在当前仓库中继续深入例如查看 AuthenticationProviderTokenTest 中各类异常场景无效签名、过期、错误 audience的校验行为。赞分享消息队列后端流处理【免费下载链接】pulsarApache Pulsar - distributed pub-sub messaging system项目地址https://gitcode.com/gh_mirrors/pulsar28/pulsar点击查看免费下载相关推荐Dante Cloud数据加密传输与存储加密的最佳实践指南Dante Cloud数据加密传输与存储加密的最佳实践指南 Dante Cloud作为国内首个支持阻塞式和响应式服务并行的企业级云原生微服务基座在数据安全方消息队列后端流处理Apache Pulsar Token 认证管理实战基于 JWT 的密钥创建、Token 签发与集群启用Apache Pulsar Token 认证管理实战基于 JWT 的密钥创建、Token 签发与集群启用 本文是 Apache Pulsar 基于 JSON消息队列后端流处理Apache Pulsar 基于 JWT 的 Token 认证完整指南从客户端鉴权到 Broker/Proxy 配置Apache Pulsar 基于 JWT 的 Token 认证完整指南从客户端鉴权到 Broker/Proxy 配置 导读 本文是 Apache Pulsar消息队列后端流处理上一篇如何快速掌握nDPI开源深度包检测工具的完整指南下一篇ClickBench 扩展开发教程教你如何添加自定义数据库测试模块创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考