它是AI的语义积木、安全的信任凭据、链上的价值载体。名字相同机制各异却共同定义了数字世界的底层抽象。引言同一个名字三种不同的逻辑当你使用大语言模型时每句话都被拆解为Token序列按量计费当你登录某个应用时JWT Token承载着你的身份声明当你交易NFT时Token代表着你拥有的数字资产所有权。它们都叫Token。但它们本质上是三种完全不同的东西。语义TokenAI分词解决的是连续性的离散化问题——如何将无限、模糊的人类语言转化为有限、精确的机器计算单元。凭证Token身份认证解决的是信任的临时化问题——如何在无状态的网络环境中以安全、可验证的方式传递身份与权限声明。价值Token区块链解决的是权益的数字化问题——如何在去中心化的网络中实现资产的确权、流通与交易。它们之所以共享“Token”这个名字并非因为它们遵循同一套“底层逻辑”而是因为它们都充当了“抽象代理”——用一个精小的数字单元去代理背后庞大、复杂、不可直接处理的“原物”语言意义、用户身份、物理资产。2026年3月黄仁勋在GTC大会上展示了一张图将AI Token推到了经济学讨论的中心。他提出了“Token经济学”的概念Y轴是吞吐量每兆瓦功耗产出多少TokenX轴是交互性每个用户感知到的Token速度X轴下方标注了五个定价档位——从免费到每百万Token 150美元。这张图被现场观众称为“Token经济学的白皮书封面”。Token的本质是对复杂性的封装与代理。以此为线索本文将逐一拆解Token在三重世界中的独特机制。第一章、语义Token语言的离散化炼金术1.1 什么是语义Token语义Token是AI分词器输出的最小语义/子语义单元是语言模型理解与生成文本的基本操作对象。一个常见误解是“Token就是单词。”事实远非如此。在英文中“apple”可能是一个Token但“unbelievable”可能被切分为“un”、“bel”、“ievable”三个Token在中文中“人工智能”可能被整体编码为一个Token也可能被拆为“人工”、“智能”两个或“人”、“工”、“智”、“能”四个——具体取决于分词器的词表设计与训练语料。另一个常见误解是“Token化等于加密。”这是危险的错觉。Token化只是将文本映射为数字ID没有任何加密保护原始信息以明文形式存在于服务器日志中。这正是AI隐私争议的根源之一。来源The Anatomy of an LLM 的交互式可视化指南1.2 为什么需要Token人类语言是非结构化的无明确边界、充满歧义、可无限组合。计算机需要离散、有限、可枚举的符号系统。早期NLP尝试过两条路各有致命缺陷。字符级把“Hello”拆成[H,e,l,l,o]但上下文窗口爆炸100个字符就需要100个位置。词级把“unhappiness”当作未知词OOV词汇表急剧膨胀且难以收敛。关键转折发生在2015年。Sennrich等人在论文《Neural Machine Translation of Rare Words with Subword Units》中首次将BPEByte Pair Encoding——一种1994年由Philip Gage提出的数据压缩算法——引入神经机器翻译的分词任务。BPE的训练流程简洁而精巧将每个词拆分为字符统计所有相邻字符对的出现频率将最高频的字符对合并为一个新Token重复直到词汇表达到预设大小或无可合并的高频对这一方法既保留了高频语义单元如“ing”、“un”又通过子词组合解决了未知词问题至今仍是GPT、LLaMA等主流模型的分词基础。不同分词器各有侧重WordPieceGoogle用于BERT以概率增益而非频次为合并依据SentencePieceGoogle直接从原始文本含空格学习无需预分词更适合多语言UnigramXLNet采用概率模型从候选词表中迭代剪枝。1.3 正在发生的变革动态分词与超词传统BPE分词器是静态的——训练时确定词表推理时一成不变。但2025-2026年的研究正在全面挑战这一范式。动态分词Dynamic Tokenization——ACL 2025收录论文——让分词器根据输入文本动态决策分词边界。其核心机制是嵌入预测超网络embedding-prediction hypernetwork对每一个潜在的合并操作超网络动态计算合并后Token的嵌入向量而非依赖静态词表。在14种语言上动态分词平均减少Token序列长度超20%性能损失不到2%应用到XLM-R模型时在XNLI数据集上平均将14种语言的Token序列长度减少超过20%。SuperBPE则挑战了另一个隐含假设空格是语义边界。但“by the way”是整体含义却含空格“raumanzughelm”德语“宇航服头盔”是一个词却承载多个语义单元。SuperBPE引入“超词”superword概念采用预分词课程pretokenization curriculum先在词内学习标准子词再逐步引入跨空格的超词合并。在20万词表下编码同样文本比BPE最多少用33%的Token在MMLU等30个下游任务上平均提升4.0%推理计算量减少27%。zip2zip——发表于NeurIPS 2025——从在线压缩角度切入通过将碎片化Token序列替换为更紧凑的“超Token”可减少输入输出Token数量15%-40%。1.4 多模态Token从文本到像素与声波Token化早已不限于文本。视觉Tokenization——ICLR 2025论文《From Pixels to Tokens》——将图像划分为patch视觉块通过VQ-VAE等量化器将每个patch映射为离散编码再应用BPE风格的合并策略构建视觉词表。谷歌Chameleon、Meta Emu2等多模态模型均采用类似思路实现文本与图像Token的统一自回归预测。音频Token化则将波形切分为毫秒级片段通过残差量化编码为离散表示视频则进一步引入时空压缩。多模态Token的统一表示正在让“一个模型处理文本、图像、音频、视频”从愿景走向现实。1.5 语义Token的核心挑战语言的偏见静态分词器的词表几乎总是以英语为中心。表达相同语义阿拉伯语相对于英语的Token膨胀比例可达1.6倍至近4倍Ahia et al., 2023,ACL德语相比英语多消耗约50%的Token。这意味着非英语用户的推理更慢、成本更高、上下文窗口能容纳的有效信息更少。研究者将这一结构性不平等称为“语言税”language tax。这是全球AI研发资源极度英语中心化的自然结果而非恶意设计。但也正因如此动态分词、SuperBPE等技术的意义超越了单纯性能竞争——它们正在让智能惠及更多语言。第二章、凭证Token信任的临时化封装语义Token解决的是“如何理解”凭证Token解决的是“你是谁、能否通行”。2.1 JWT无状态的信任声明JSON Web TokenJWT是目前最广泛使用的身份认证令牌——一个URL安全的、可签名和/或加密的JSON对象。一个JWT由三个Base64-URL编码的段组成用点号连接Header.Payload.SignatureHeader头部包含令牌类型和签名算法如{alg:HS256,typ:JWT}。Payload载荷包含声明claims如用户身份sub、签发时间iat、过期时间exp、权限范围scope等。Signature签名对Header和Payload进行哈希签名如HMAC-SHA256(header payload, secret)。JWT的核心机制服务器签发Token时使用私钥对Header和Payload进行数字签名。客户端后续请求携带此Token服务器仅需验证签名有效性即可确认身份无需查询会话存储——这就是“无状态”的含义。来源JWT Architecture Flow 中的Token Anatomy图展示Header、Payload、Signature三段式结构及Base64编码过程。2026年的安全基线算法EdDSAEd25519被视为当前最安全的选择ES256提供优异的安全与性能平衡。绝对禁止使用alg:none未签名HS256必须确保密钥至少256位熵。存储内存存储最安全但页面刷新即丢失HttpOnly Cookie可防御XSS但需防范CSRFLocalStorage安全性最低极易受XSS攻击。生命周期Access Token建议不超过15分钟Refresh Token可设7天并启用轮换机制每次刷新颁发新Token旧Token失效以防止重放攻击。机密性JWT本身不对载荷加密严禁存放敏感信息如需加密应使用JWEJSON Web Encryption标准。注旨在更新JWT规范RFC 7519的草案draft-ietf-oauth-rfc8725bis正在IETF推进中截至2026年9月仍处于“工作组最后征求意见”阶段。2.2 Token化的安全扩展OAuth 2.0令牌第三方登录如“微信登录”中Access Token是临时授权凭证Refresh Token用于无感续期。CSRF Token嵌入表单的随机隐藏值用于验证请求发自合法页面防止跨站请求伪造。PCI-DSS支付Token化用随机生成的替代值取代真实银行卡号进行交易流转降低数据泄露风险。2.3 凭证Token的独特性凭证Token与语义Token有本质不同它不承载可解读的语义随机字符串或加密签名不具备可交易性转让他人即失效其核心价值在于时效性与可验证性。它们的共同点仅在于都用一个“小东西”去代理一个复杂的后端状态或身份。第三章、价值Token权益的数字化确权区块链Token是可流通的数字权益证明——它既不是语义单元也不是身份凭据而是一种资产形态。3.1 Token的四种基本形态同质化代币FT如USDT、ERC-20标准每个Token价值相等、可互换是稳定币和DeFi的基石。非同质化代币NFTERC-721标准每个Token独一无二用于数字藏品、游戏道具、知识产权确权。治理Token赋予持有者参与协议决策的投票权如Uniswap的UNI、MakerDAO的MKR。功能型TokenUtility Token用于访问特定服务或支付网络费用如以太坊的Gas。3.2 Token标准与风险ERC-20、ERC-721、ERC-1155半同质化构成了以太坊Token生态的技术底座。但智能合约漏洞如重入攻击、整数溢出曾导致数十亿美元损失监管层面SEC将多数Token视为证券的立场使得合规成为行业最大不确定性。3.3 真实世界资产的Token化RWA将房地产、债券、艺术品等上链是2025-2026年最务实的趋势之一旨在将流动性差的实物资产拆分为可编程、可交易的Token。然而RWA并非没有代价资产估值依赖链下预言机引入中心化风险法律确权与链上所有权可能脱节Token碎片化可能制造“流动性幻觉”——看似可随时交易但深度不足时小量抛售即可引发价格崩塌此外跨司法管辖区的监管套利风险不容忽视。3.4 价值Token的独特性价值Token与前两者的区别最为明显它是可以独立于发行方流通的JWT不能交易AI Token不能转让其价值来源于共识机制而非中央权威的背书。区块链Token的“抽象代理”对象不是语言或身份而是现实世界的资产或权益。第四章、Token经济学智能的精细计量4.1 按Token计价的逻辑随着大模型商业化“按Token计费”已成为AI服务的主流定价模式采用“输入Token 输出Token”复合计价。为什么输入输出价格不同这源于计算模式的本质差异。预填充阶段输入中Prompt所有Token在Transformer每一层内部可高度并行计算——矩阵乘法充分利用GPU的并行能力。生成阶段输出则受限于自回归解码——每个新Token依赖之前所有Token的注意力结果串行特性严重制约吞吐量。输出Token单价通常是输入的2-4倍。4.2 成本优化的工程实践KV Cache缓存已计算Token的Key-Value向量避免每个新Token重复计算历史注意力是推理引擎的标配优化。模型路由根据任务复杂度动态选择不同规模模型如简单分类用7B、复杂推理用70B大幅降低平均成本。连续批处理Continuous Batching动态调度不同请求的Token生成最大化GPU利用率。2026年Token经济已经形成了从能源、芯片、基础设施到模型、应用的五层产业链。东北证券研报指出定价分界线位于Token流通环节与应用层之间——分界线之下交易通用Token、价格向公开市场收敛分界线之上应用把Token加工为业务结果。来源黄仁勋GTC 2026 Token经济学图表虎嗅4.3 Token计费的结构性隐忧Token计费看似公平——用多少付多少——但它可能加剧结构性不平等。跨语言不公平如前所述非英语用户为表达相同语义需支付更多Token本质上是一种价格歧视。小开发者排挤大厂可通过规模效应将Token成本压至极低而独立开发者和小团队承受相同单价在同等预算下可调用的智能量远少于大厂加剧了AI能力的马太效应。锁仓效应一旦应用深度依赖某一厂商的Token计价体系迁移成本极高形成了事实上的供应商锁定。Token让计费更精细但它并未让智能变得更公平——恰恰相反它把结构性不公平精确地量化了。第五章、超越语义Token处理Token的多元化路径与工程化挑战语义Token如此成功却带着根本性妥协——将连续的语言理解切割为离散片段。人类的思考是连续的机器却只能处理孤立的Token序列。许多AI交互中的“断裂感”本质即源于此。如果说2025年的研究证明了“无Token”的可行性那么2026年的进展则全面转向了“如何更高效、更彻底地抛弃Token”的架构创新。探索路径已从单一走向多元。5.1 三条清晰的技术路径路径一更快的字节级模型字节级模型的核心瓶颈在于序列过长导致的推理速度慢。Meta FAIR在2026年持续突破这一瓶颈。其5月发布的Fast Byte Latent Transformer中BLT Diffusion (BLT-D)模型通过引入辅助的块级离散扩散目标使解码器能在单步前向传播中并行生成多个字节将推理内存带宽成本降低50%以上。此前的BLT Self-Speculation (BLT-S) 方案也受推测解码启发在保证生成质量的同时实现了内存使用的显著优化。BLT的核心创新在于模型不依赖任何固定分词器而是引入熵预测器实时评估每个位置的“信息密度”。当预测下一个字节的熵较高不确定性大时生成较短的Patch以精细建模当熵较低内容可预测性强时使用更长的Patch以节省计算。BLT平均Patch长度可达12-16个字节远超传统Tokenization的平均Token长度。来源Meta BLT开源项目中的架构图路径二更智能的动态分组另一条路径是让模型自己决定如何切分字节以及如何分配算力。被ICLR 2026接收的ByteFlow提出了一种分层字节级模型利用信息论中的编码率自适应地将原始字节流压缩为语义单元在预训练损失和下游任务上超越了BPE基线。同年7月发布的EntropyMoE则将混合专家MoE技术与动态字节补丁结合路由机制直接根据补丁的信息熵选择专家实现了“算力跟着信息复杂度走”的精细调度。路径三更彻底的“无Token”推理最激进的方向是连字节都不生成。2026年4月左右引发广泛讨论的“Thinking Without Tokens”范式其核心思想是让模型在潜在空间Latent Space中进行迭代“思考”。一个3.5B参数量的模型通过这种潜在推理在推理基准上的表现可媲美50B参数量的标准模型。推理过程完全在隐藏状态中循环展开不产生任何可见的Token序列。此外开源社区也涌现出如NoTokenLM系列的小规模实践模型以及基于状态空间模型SSM、直接在原始UTF-8字节上操作的Stream SSM等项目标志着无Token思想正从学术界走向工程实践。5.2 工程化的挑战与权衡然而这些令人振奋的突破并不意味着“Token消失”近在眼前。从工程化角度看无Token模型面临着严峻挑战训练稳定性与成本字节级序列长度远超Token序列导致模型收敛更慢、更不稳定训练成本依然高昂。硬件与生态适配现有GPU和推理框架如vLLM、TensorRT的底层算子深度优化了Token级操作。字节级模型需要重新设计Attention和线性层等核心算子生态迁移成本巨大。长上下文挑战虽然Fast BLT等方案在缓解但序列长度爆炸使注意力机制的复杂度问题依然突出。性能的均衡在部分标准基准测试上无Token模型尚未全面超越最先进的Token化模型。5.3 融合而非替代基于以上分析一个更审慎的判断是分词的终极形态更可能是Token化与字节级方法的长期共存与融合。在语义密度高的区域如常见词汇和短语用Token压缩以提高效率在噪声大、错别字多或非常规文本如代码、数学公式中回退到字节级以保证鲁棒性。混合方案或许才是更现实的终局。Token不会一夜消失但它的统治地位正在被多元化的探索所撼动。结语Token是面镜子Token是AI的语义积木、安全的信任凭据、链上的价值载体。名字相同机制各异却共同回应着一个根本需求如何用一个精小的抽象单元去承载和简化背后那些庞大、复杂、不可直接操作的原物。Token是一面镜子。语义Token照见的是语言如何被切分、压缩、重组——从BPE的频次合并到BLT的熵驱动分组每一步都是对人类“意义边界”的重新丈量。凭证Token照见的是信任如何在无状态网络中瞬时重建、定期失效拒绝“永久信任”的危险幻觉。价值Token照见的则是一体两面它让资产可编程、可流通却也使监管套利与流动性幻觉如影随形。三面镜子拼在一起揭示的并非Token化不可撼动的神话而是一个正在被挑战、却远未被终结的主导范式。Fast BLT将字节级推理的内存带宽占用降低50%以上ByteFlow用编码率自适应压缩字节流潜在推理让3.5B模型媲美50B模型的表现。这些探索不是要否定Token而是在重新定义它的边界从固定词表到动态分组从可见符号到潜在状态。Token不会一夜消失。在可预见的未来它仍将是AI理解世界的基本货币、网络传递信任的标准协议、区块链确权流转的核心载体。但它的形态正在变得多元——有时是子词有时是超词有时是字节补丁有时根本不以任何可见形式存在。最终Token是一面关于“抽象”的镜子。它照见的是人类永恒的冲动面对无限复杂的世界找到一个足够小、足够精确、足够可复用的单元去代理那些庞大、模糊、不可直接处理的原物。Token很小但它映照的东西很大。创作不易禁止抄袭转载请附上原文标题和链接