LLM数据智能体的追踪完整性：真实系统中可审计结构化推理的愿景arXiv:2608.26036v1摘要答案准确率不足以作为LLM数据智能体的可靠性判断依据。在结构化数据任务中，即便输出了基准测试的正确答案，其背后的计算追踪也可能是无效的。本文提出追踪完整性（Trace Integrity），一套面向部署场景的可靠性评判标准，用于评估答案背后记录的计算过程是否具备：显式可记录、可执行、符合模式约束、算子忠实、可复现、与答案一致、可审计七大特性。本文定义结构鸿沟（Structure Gap），这是造成追踪完整性缺失的部署失效模式：自然语言推理与自由文本理由，无法可靠落地为真实系统所必需的算子级程序。本文使用**执行契约（execution contracts）**将追踪完整性可操作化，这是一类结构化产物，将用户意图绑定数据库模式元素、算子执行计划、假设条件、可执行查询、校验状态以及最终答案关联。同时提出CAIT指标（正确答案‑无效追踪率，Correct Answer / Invalid Trace Rate），用于衡量仅靠答案做评估时，有多少计算逻辑不成立的输出被误判为成功。基于BIRD Mini‑Dev数据集开展实证实验：直接SQL方案、操作摘要+SQL、契约优先SQL三种方案答案准确率分别为20.0%、22.0%、24.0%；但追踪完整性通过率仅为39.0%、43.0%、40.0%；CAIT错误率依旧居高不下，分别达到55.0%、59.1%、45.8%。实验证明：答案准确率、追踪有效性、隐性失败风险是三套完全独立的评估信号。面向生产环境的LLM数据智能体，不能只看输出答案是否匹配参考答案，还必须保证答案背后存在一套可审计的完整计算过程。关键词：大语言模型；数据智能体；追踪完整性；可审计AI；Text‑to‑SQL；CAIT指标；执行契约；结构化推理1 引言LLM数据智能体正在成为操作数据的交互入口：读取数据库模式、生成SQL、调用工具、执行查询、汇总结果，向分析师、运维人员、临床人员、审计人员、普通用户输出结论。它降低数据库、表格、日志、企业分析系统的查询门槛，但同时引入新的可靠性难题。问题不再只是“系统是否返回预期数值”。数据智能体可以输出看起来合理、基准测试正确的答案，但背后计算逻辑却用错筛选条件、关联条件、聚合函数、时间窗口、分组键或者模式绑定关系。示例业务问题：排除试用账号，上个季度哪个区域的活跃客户平均收入最高？智能体可以自信输出一个区域名称，但背地里：计算的是总收入而非人均平均收入；没有排除试用账号；按照销售办事处分组而不是客户区域；使用日历季度而非财年；依靠不稳定的名称字段做表关联，而不是稳定客户ID。只评估最终答案，无法区分“计算逻辑完全正确”和“纯属巧合蒙对结果”。部署团队不仅需要知道输出了什么答案，还需要知道实际执行了怎样的计算。这是工程部署层面的现实问题，不局限于学术基准测试。业务流程中，答案的使用者往往无法复现查询逻辑：BI报表使用者、合规审核人员、数据工程师、领域专家。他们不只是需要流畅的自然语言解释，更需要一份可检查的产物，明确记录使用了哪些模式字段、过滤器、关联、聚合逻辑、前提假设、执行结果，以此支撑最终答案。本文提出：面向真实环境的LLM数据智能体，应当把计算追踪作为一等公民对象，这套评判标准就是追踪完整性 Trace Integrity。注意：追踪完整性 ≠ 通用可信度。它不保证底层数据完整、公平、适合下游决策。它只解决特定部署风险：答案正确，不等于系统执行了用户真正请求的计算。该需求来源于结构鸿沟（Structure Gap）：大模型以token序列生成推理，结构化数据任务却要求具备严格语义的算子级程序。有效结果依赖投影、过滤、表连接、分组、聚合、排序、排序选优、时间约束、模式绑定。Text‑to‑SQL、表格推理基准集中大量体现该痛点，任务核心是把自然语言请求映射为可执行计算，而不是生成看上去通顺的解释文本。现有相关工作存在短板：思维链CoT提示：生成中间自然语言推理文本，但自然语言理由本身不可执行，并且不一定忠实还原真实计算过程。程序/工具增强方法：把计算交给外部系统执行；但是查询可以成功运行，却回答了错误问题。执行成功不等于程序匹配用户真实意图。最隐蔽的失效场景：答案正确，但背后追踪无效。仅靠答案评估会把这类输出算作成功，但记录的计算过程根本无法支撑该答案。本文将该失效模式命名为CAIT（Correct Answer / Invalid Trace），使用CAIT Rate量化该现象。本文贡献：提出概念体系：结构鸿沟、追踪完整性；提出执行契约 Execution Contract，让追踪完整性可以落地实现；提出隔离原则 Isolation Principle，作为默认规划约束；定义CAIT Rate指标，量化“答案对、计算追踪无效”这类隐性失败；在BIRD Mini‑Dev数据集开展概念验证实验，证明答案准确率、追踪有效性、隐性失败风险三者相互独立。核心观点：LLM数据智能体作为可靠的数据接口，不能只看返回的答案，还必须保证答案背后的计算过程可检查、可复现、可审计。2 追踪完整性问题2.1 算子约束与结构鸿沟结构化数据问题会隐含大量算子层面约束：包含哪些记录、实体如何对齐、计算什么指标、用什么维度分组、时间窗口范围、排序规则如何确定极值。示例：“活跃客户的平均收入”，计算必须明确分子、分母；“上个季度”必须明确时间区间；“区域维度结果”必须绑定区域字段，不能使用语义近似的位置属性。结构鸿沟（Structure Gap）定义：自然语言推理与算子级可执行计算之间的不匹配。自然语言表达用户意图，但无法强制落实结构化数据所必需的离散算子：过滤、连接、分组、聚合、排序选优、时间约束、模式绑定。模型可以生成看起来合理的操作描述，但漏掉表连接、把平均值改为求和、过滤器作用到错误表、使用语义相似但含义完全不同的字段分组。在部署的智能体中，这就是可靠性故障：答案得不到计算过程的支撑。该论述属于表征层面问题，不是否定大模型通用推理能力。有效的结构化数据回答，必须把用户请求绑定到可执行计算。Text‑to‑SQL任务直观体现该矛盾。2.2 业务数据工作流中的隐性失效结构化数据隐性失效的危险在于：一切输出表象完全正常。