简介面向医学与公共卫生领域数据分析人员的 NHANES 数据库预处理代码包将繁琐的数据下载、合并、清洗与缺失值处理流程封装为可直接运行的 R 脚本解决多周期、多模块 XPT 原始数据难以直接用于统计建模的痛点。资源共 19 个文件、149.99MB包含 9 个 CSV 数据文件、2 个 R 清洗脚本、2 个 Shell 自动化脚本以及文档、图表与项目配置说明。CSV 文件涵盖协变量、人口学 DEMO_L、实验室检测 LAB_L 等已整理数据表R 脚本则实现从文件读取、tidyverse 合并、NA 值剔除到 mice 多重插补的完整流水线同时生成汇总统计与分布可视化图表。代码中还包含 XPT 格式转换、跨周期数据合并、协变量筛选、列名优化等实操处理配有数据分布分析与说明文档便于快速理解每一步的处理逻辑并复用到自己的研究项目中。目前已有 448 人学习下载适合需要规范化处理 NHANES 数据、快速搭建清洗流程的研究者参考复用。1. NHANES 原始数据根本没法直接分析时间都耗在哪一步拿到 NHANES美国国家健康与营养调查公开数据的第一反应通常是解压、读取、跑模型但实际干过一次就知道原始 XPT 文件里的缺失值编码、跨周期字段差异、不同表格的 SEQN 类型不一致任何一个都能让脚本在半夜跑挂。这份数据清洗指南的价值不在于教你下载数据而在于把 1999-2018 十个周期的清洗逻辑做成一套可复用的代码管线覆盖读取、合并、缺失值处理和衍生变量生成四个环节。如果你是做公共健康、临床流行病学或营养学数据分析的从业者手上正缺一份能直接落地改的清洗脚本这份资源值得花几分钟看完。2. 环境准备与 XPT 文件读取pandas 才是数据清洗的主力2.1 为什么不用 SAS 而用 pandas 处理 XPT 文件NHANES 官方数据以 SAS 传输格式.XPT发布很多医学背景的同事第一反应是装 SAS 读取但实际做大规模清洗时pandas 配合 pyreadstat 或 pandas 内置的 read_sas 方法更灵活。原因很直接SAS 许可证贵而且清洗逻辑写进 SAS 宏里后续想跟 Python 的机器学习生态衔接还得再导一层pandas 读进来就是 DataFrame清洗完直接喂给 sklearn 或 statsmodels链路短。我一般用 pandas.read_sas 读 XPT它不依赖 SAS 环境只要文件是标准传输格式就能解析。唯一要注意的是read_sas 对编码处理偶尔会翻车字符变量可能出现乱码这时换成 pyreadstat.read_xport 更稳。两个库的取舍后面细说。2.2 read_sas 读取与编码陷阱先看最基本的读取代码import pandas as pd # 读取人口统计文件index 设为 SEQN受访者序列号 demo pd.read_sas(DEMO.XPT, formatxport, encodingutf-8, index_colSEQN) print(demo.shape) print(demo.columns[:5])这段代码把 DEMO.XPT 读成 DataFrame并按 SEQN 设为索引。format 参数明确指定 xport 格式避免 pandas 把它当 SAS7BDAT 解析。encoding 指定 utf-8 处理文本变量如果不指定部分字符字段可能出现乱码尤其是 2013 年之后周期里带口音的人名或地区名。再看 pyreadstat 的替代方案import pyreadstat df, meta pyreadstat.read_xport(DEMO.XPT) # meta.column_names 可以拿到列顺序 # meta.variable_value_labels 拿到编码值对应的标签如 1Male, 2Femalepyreadstat 的好处是能拿到变量标签和值标签元数据这对缺失值编码识别非常有帮助。NHANES 里很多缺失值不是 NaN而是 7、8、9 这种特殊编码没有标签映射你根本不知道哪个数字代表拒绝回答。meta.variable_value_labels 返回一个字典键是变量名值是该变量的取值标签映射后续清洗时直接拿它来识别缺失编码。提示pyreadstat 读取大文件时内存占用比 read_sas 高一些机器配置低的话建议先用 read_sas 读入再用单独下载的 HTML 变量说明文档做缺失编码映射。3. 表合并与缺失值处理构建分析用宽表的关键操作3.1 按 SEQN 做表合并inner 还是 left 要想清楚NHANES 每个周期包含多个独立表格例如人口统计DEMO、饮食摄入DR1IFF、体检指标BMX、实验室检查LAB。分析时通常要把这些表按 SEQN 拼成一张宽表。最常见的错误是全部用 inner join导致样本量大幅缩水。# 以人口统计表为基准逐步合并其他表 merged demo.reset_index() # 合并体检数据left 保留所有受访者 bmx pd.read_sas(BMX.XPT, formatxport, encodingutf-8) bmx bmx.drop_duplicates(subsetSEQN) # 同一受访者可能有多条记录 merged merged.merge(bmx, onSEQN, howleft, validateone_to_one) # 合并饮食数据24小时膳食回顾一人可能多条先聚合再合并 dr1iff pd.read_sas(DR1IFF.XPT, formatxport, encodingutf-8) dr1_sum dr1iff.groupby(SEQN)[DRXKCAL].sum().reset_index() merged merged.merge(dr1_sum, onSEQN, howleft, validateone_to_one)逻辑说明第一个 merge 用 howleft 以 DEMO 表为准保证人口统计变量完整的样本不被体检数据缺失拖累。validateone_to_one 在合并前检查右侧表是否每条 SEQN 唯一如果数据里有重复pandas 直接抛异常不会给你静默产生笛卡尔积。第二个 merge 处理饮食摄入表因为 24 小时膳食回顾一个受访者可能有多天记录先按 SEQN 求和聚合再合并进宽表。参数说明how 参数的可选值里inner 只保留两边都有的受访者适合做完整案例分析left 以左侧表为基准适合保留人口结构做加权分析validate 参数是避免重复键的神器强烈建议每次都加上。3.2 缺失值编码识别与统一替换NHANES 的缺失值非常规7 通常代表拒绝回答8 代表不知道9 代表不适用部分变量还会用 7777 或 9999 表示数值型缺失。直接跑 describe 会发现这些异常值混在真实数据里均值被拉偏。import numpy as np missing_codes [7, 8, 9, 7777, 9999] def clean_missing(df, missing_codes): df_clean df.copy() # 找出所有数值列批量替换缺失编码 for col in df_clean.select_dtypes(include[np.number]).columns: df_clean[col] df_clean[col].replace(missing_codes, np.nan) return df_clean # 使用 pyreadstat 的元数据做精确识别 # 先看变量标签确定哪些值确实代表缺失再替换逻辑说明select_dtypes 选出数值列批量把配置好的缺失编码替换成 np.nan这样后续的 dropna、fillna 和统计建模都能走标准流程。在这里有个实践细节不能无脑对所有列统一替换因为个别变量的 7 或 9 可能是有效编码。例如某些问卷变量里 9 代表怀孕替换掉会把有效数据变成缺失。参数说明replace 第一个参数传列表时要求 DataFrame 列里能精确匹配如果你只想替换部分列给 replace 传一个字典键是列名值是缺失编码列表可以避免误伤。用 pyreadstat 的 meta.variable_value_labels 辅助识别哪些值代表缺失比人肉翻文档快得多。3.3 变量类型与时区格式的统一读取 XPT 后常见问题还包括日期变量格式混乱。例如 RIDSTATR访谈/检查状态在不同周期可能存储为字符或数值合并时类型不一致会导致 join 失败或行数翻倍。做法是统一转成 str 再去重日期字段统一转成 pandas datetime。# 统一 SEQN 类型避免浮点精度问题 for df_name in [demo, bmx, dr1_sum]: df_name[SEQN] df_name[SEQN].astype(int64) # 日期字段统一转 datetime for col in [RIDEXAGM, RIDAGEMN]: demo[col] pd.to_datetime(demo[col], format%Y-%m-%d, errorscoerce)逻辑说明SEQN 在部分 XPT 文件里被解析为 float64直接 merge 时 1.0 和 1 不会配对astype 转成 int64 一劳永逸。日期变量转 datetime 后可以做年龄精确计算errorscoerce 保证异常日期变成 NaT不中断脚本。4. 衍生变量生成从字段到可分析指标4.1 BMI 与年龄分组变量原始体检表里提供的是身高BMXHT单位 cm和体重BMXWT单位 kgBMI 需要自己算年龄在 DEMO 表里是 RIDAGEYR整数年龄但很多分析场景需要按 WHO 标准分组。# 计算 BMI merged[BMI] merged[BMXWT] / ((merged[BMXHT] / 100) ** 2) # 年龄分组WHO 标准18-24, 25-34, 35-44, 45-54, 55-64, 65 bins [17, 24, 34, 44, 54, 64, 120] labels [18-24, 25-34, 35-44, 45-54, 55-64, 65] merged[age_group] pd.cut(merged[RIDAGEYR], binsbins, labelslabels) # 剔除异常 BMI10 或 80 通常是录入错误 merged.loc[~merged[BMI].between(10, 80), BMI] np.nan逻辑说明BMI 计算公式是体重除以身高米数的平方这里先把 cm 转成 m。pd.cut 按指定边界切分年龄labels 给分组名。待办事项是 BMI 异常值过滤数值在 10 到 80 之外的基本是录入错误或极端测量问题直接置 NaN避免下游建模被异常值带偏。参数说明pd.cut 的 bins 列表边界遵循左闭右开第一个边界 17 保证 18 岁被划入第一组。between 方法左右都包含所以 10 和 80 这两个极值本身会被保留。4.2 高血压判定与逻辑校验高血压判定在金标准里需要收缩压和舒张压NHANES 体检表里有 BPSY1收缩压、BPDI1舒张压。医学定义是收缩压 130 或舒张压 80按 2020 年后的新指南或者正在服用降压药RXQ_DRUG 相关变量。# 用体检血压和用药信息联合判定 merged[hypertension] 0 merged.loc[ (merged[BPSY1] 130) | (merged[BPDI1] 80), hypertension ] 1 # 正在服降压药的患者强制归为高血压 rx pd.read_sas(RXQ_RX.XPT, formatxport, encodingutf-8) rx_drugs rx[rx[RXDDRUG].str.contains(HYDROCHLOROTHIAZIDE|LISINOPRIL, caseFalse, naFalse)] rx_patients rx_drugs[SEQN].unique() merged.loc[merged[SEQN].isin(rx_patients), hypertension] 1 # 逻辑校验血压缺失且未用药的人hypertension 保持 0标记为 uncertain merged[htn_uncertain] ( merged[BPSY1].isna() merged[BPDI1].isna() ~merged[SEQN].isin(rx_patients) ).astype(int)逻辑说明先用体检血压二元判定再用用药记录补漏。服药患者即使体检时血压正常药物控制住了临床上也应归为高血压。最后的 htn_uncertain 变量标记血压缺失且没查到用药记录的个体这类人群在后续分析里可以单独考虑是否剔除。参数说明str.contains 的 caseFalse 做大小写不敏感匹配naFalse 让缺失值不参与匹配。isin 判断受访者是否在用药名单里。这段逻辑是流行病学分析的常规操作但如果你的研究用的是老版指南140/90阈值记得改。4.3 MET 代谢当量体力活动变量的聚合NHANES 体力活动问卷按活动类型拆分变量比如步行PADWALK、骑车PADBIKE、举重PADMUSC。分析时通常需要合并成每周总 MET 分钟。这里有个坑不同周期的活动变量名后缀不一样2007-2008 是 PAD 开头2011-2012 部分变量换成了 PAQ 前缀脚本里要做兼容映射。# 以 2011-2012 周期为准做列名映射 activity_cols { PADWALK: walk, PADBIKE: bike, PADMUSC: muscle, PAQ640: walk_q, PAQ650: bike_q, } # 统一重命名后计算 MET 分钟 for col, new_name in activity_cols.items(): if col in merged.columns: merged[new_name] merged[col] merged[MET_minutes] ( merged.get(walk, 0) * 4.0 # 步行 MET 系数 merged.get(bike, 0) * 8.0 # 骑车 MET 系数 merged.get(muscle, 0) * 6.0 # 力量训练 MET 系数 ).fillna(0)逻辑说明get 方法在列不存在时返回默认值避免早期周期的表缺少某些变量导致 KeyError。周期兼容是 NHANES 清洗里最常见的维护工作历年的字段名会微调但核心语义不变。5. 避坑指南NHANES 清洗中常见的四类翻车现场5.1 读取 XPT 时变量名变形现象读入后列名出现类似 BMXWT 变成 BMXWT0 或后缀被截断。原因SAS 传输格式对变量名长度有限制历史上是 8 字符截断部分周期里长变量名会被改写。解决用 pyreadstat 读时拿 meta.column_names 对照官方文档里的原始变量名如果只是个别后缀差异用 rename 字典直接映射回来。不要用 df.columns df.columns.str.strip() 这类通用清理容易把本来正确的列名改错。5.2 重复 SEQN 导致 join 后行数翻倍现象合并后行数从一万多变成两万多检查发现同一 SEQN 出现在右侧表多条记录。原因NHANES 某些模块一个受访者有多条记录例如饮食回顾有人做了两天体检中个别项目也可能重测。解决合并前先跑 drop_duplicates(subsetSEQN)确认保留哪条的策略。例如体检数据保留第一次测量使用 df.sort_values(SEQN).drop_duplicates(subsetSEQN, keepfirst)。5.3 缺失值编码误伤有效数据现象做缺失替换后某个变量分布明显异常比如家庭收入变量低收入组占比骤降。原因该变量里 7 或 9 是有效编码。NHANES 家庭收入比INDFMPIR里有些年份直接用数值有些年份 7 代表拒绝回答但不是所有变量都遵循同一套编码规则。解决在批量替换之前先用 pyreadstat 的 variable_value_labels 扫描每个变量的标签把真正表示缺失的值挑出来对个别变量单独处理绝不搞全局统一替换。5.4 加权分析时直接跑普通回归现象分析结果和官方报告差异巨大例如肥胖率比 CDC 官方数字低很多。原因没考虑样本权重。NHANES 是分层多阶段抽样每行数据对应不同权重WTMEC2YR不加权等于把抽样设计当简单随机样本。解决清洗时保留权重列建模和描述统计时用 statsmodels 的 weights 参数或 survey weights 库至少保证结果可解释。6. 进阶内存优化与可复现的清洗管线把十年数据全部读进内存后8GB 内存的笔记本基本处于崩溃边缘。一个周期 DEMO 表不大但饮食表和实验室表叠加后轻松超过 3GB。我一般做两件事只保留分析需要的列清洗中间结果落盘成 parquet 格式。# 只保留必要列再合并别把所有变量都拖进来 cols_needed [SEQN, RIDAGEYR, RIAGENDR, BMXHT, BMXWT, BPSY1, BPDI1, WTMEC2YR] demo_small demo[cols_needed] # 清洗结果落盘 parquet压缩率高且保留 dtype merged.to_parquet(nhanes_clean.parquet, enginepyarrow, compressionsnappy) # 下次直接读 parquet秒开 df_clean pd.read_parquet(nhanes_clean.parquet)逻辑说明cols_needed 这种做法对超宽表特别有用避免把几百个用不上的变量全带进内存。parquet 是列式存储格式pyarrow 引擎写出的文件不仅体积小读取时还能保留整型、浮点型、category 类型不用像 CSV 那样重新推断格式。压缩用 snappy兼顾速度和体积。# 用线程池并行读取多周期文件 from concurrent.futures import ThreadPoolExecutor import glob xpt_files glob.glob(*.XPT) def load_one(path): return pd.read_sas(path, formatxport, encodingutf-8) with ThreadPoolExecutor(max_workers4) as pool: dfs list(pool.map(load_one, xpt_files))IO 读取是 CPU 无关操作多线程能显著缩短多周期加载时间。max_workers 设在 4 到 8 之间效果最好再高会增加内存压力。最后一个小技巧清洗脚本里所有 magic number比如缺失编码、BMI 阈值、年龄分界抽到脚本顶部的配置字典里换研究标准时只改一处。我以前把年龄分组边界直接埋在 pd.cut 的代码行里后来换 WHO 新标准时找了一整天才改全。从那以后我每次清洗 NHANES 数据都强制走一遍完整流程先读 meta 确认缺失编码、再统一 SEQN 类型、合并全程开 validate、落盘 parquet。这套习惯救过我很多次希望帮到你。本文还有配套的精品资源点击获取