2025.03.14【读书笔记】|GWAS分析神器BOLT-LMM工具介绍与快速安装搞遗传关联分析的人十有八九都被GWAS的数据量折磨过。几万样本、上千万位点用传统混合线性模型跑一轮少则几小时多则几天下不来好不容易跑完还容易碰到群体分层导致的假阳性。今天这份读书笔记聊的就是解决这一系列问题的利器——BOLT-LMM。它用一套巧妙的算法把大样本GWAS的计算量砍了两个数量级同时又把群体结构、亲缘关系这些干扰因素老老实实地控制住。对做动植物的数量遗传、人类复杂疾病定位、甚至是全基因组选择育种的人来说BOLT-LMM都是安装一次就能用很久的实用工具。这次笔记会分成几块来写先讲它凭什么能当“神器”再讲它核心算法到底改进了什么最后是重点——从头到尾把安装过程捋一遍包括依赖处理、编译报错、验证运行把那些官方文档里藏着的坑全给你翻出来。1. 内容整体设计与思路拆解1.1 GWAS分析的三个老难题拿到一批基因型数据和表型数据做全基因组关联分析表面上看就是循环跑单点回归但真正上手后发现到处都是坑。第一个难题是群体分层。样本来自不同亚群时等位基因频率和表型分布都可能跟着亚群走如果不控制随便一个位点都能算出显著性结果全是在找亚群差异不是在找因果变异。第二个难题是亲缘关系。样本之间有隐藏的家族关系或亲缘结构时相关性模型必须把亲缘矩阵放进去不然检验统计量会被严重膨胀这里不是简单加一个协变量就能糊弄过去的。第三个难题是计算量。要构建N×N的亲缘矩阵估计方差分量再对每个SNP迭代求解混合模型方程组——样本量过了五万以后常规思路直接算不动。1.2 为什么偏偏是BOLT-LMM在BOLT-LMM出现之前大家手里常用的工具是GCTA、GEMMA、FaST-LMM这类。它们都能把亲缘关系纳入模型但一个共同短板是每一轮关联检验都要重新估算一次遗传方差分量或者做一次完整的矩阵分解。样本量上万时还勉强能跑一旦进入生物样本库那种几十万样本的规模计算资源根本撑不住。BOLT-LMM的思路是不在每一位点上重复做昂贵的方差分量估计而是先花一次代价把遗传方差分量算好再利用一种近似的、基于抽样迭代的检验统计量对所有位点并行扫描最后再对显著位点做精确校正。它相当于把“慢但准”的完整模型拆成“先快后精”的两段式流水线这也是它名字里BOLTBalanced One-Locus Two-step的由来——两阶段设计。1.3 这篇笔记适合谁读如果你正准备安装BOLT-LMM但被编译折腾得怀疑人生这篇笔记能帮你把依赖和报错一次性排干净。如果你已经在用其他GWAS工具但嫌弃速度太慢这篇笔记会告诉你BOLT-LMM在哪些数据规模下值得换。如果你只是好奇GWAS软件背后的计算原理那算法拆解那部分能让你对混合模型的加速策略有个直观认识。无论哪一种先把环境弄好、能跑通样例后面研究方法和参数都会顺手很多。2. 核心细节解析与实操要点2.1 从混合模型到BOLT-LMM的优化路径传统GWAS混合模型可以写成y Xβ u e。这里y是表型向量X是固定效应设计矩阵包含SNP基因型和其他协变量u是随机多基因效应服从方差分量σ²_g的亲缘关系矩阵K决定的多变量正态分布e是残差。对每个SNP标准做法是把该SNP也放进X里然后最大化似然函数估计β和两个方差分量。GEMMA、GCTA的精髓都在这个框架里但它们都要对K做特征分解复杂度大约为O(N³)。N是五万以上的生物样本时这个立方复杂度就是灾难。BOLT-LMM第一阶段的厉害之处在于它不需要对完整K矩阵做精确分解。它用一种被称为“随机化”的方法通过抽样少量随机向量近似求出K的逆与表型的乘积再用这些中间结果估计稀疏回归里的方差分量。通俗说它不把整条亲缘关系矩阵这头大象完整拆开而是称一称、摸一摸用局部估算全局。配合多线程并行这一阶段在十万样本规模的耗时可以压到几十分钟到几小时。第二阶段更讨巧对每个SNP它先基于第一阶段估算的方差分量算一个近似统计量然后只对p值低于某一阈值的候选位点比如p 0.001才去做精确的、包含该SNP的模型拟合。这样做不会漏掉显著信号因为真正的关联位点本来就该出现在候选集里而绝大部分无效位点只是快速过一下筛子。整个流程的时间复杂度基本由第一阶段主导后面对千万位点的扫描几乎可以当成独立的并行任务分发下去。2.2 BOLT-LMM-inf与BOLT-LMM模型怎么选BOLT-LMM同时提供两种运行路径。一种叫BOLT-LMM-inf假设遗传力只由无限数量的小效应位点共同贡献完全符合标准混合模型的假设运行速度更快而且等价于一般意义下的混合模型关联分析。另一种就是完整的BOLT-LMM Bayesian模型它会额外假设一部分SNP具有较大效应。这个假设更贴近真实遗传架构尤其是在存在主效基因的情况下能稍微提升统计功效。但代价是需要额外指定若干参数比如混合分布中不同效应类别的权重和方差比例通常用--bootstrap或默认参数来估计这些值。实际使用时我的建议是第一次跑数据、或者只想要一个稳妥的GWAS结果直接跑BOLT-LMM-inf模式如果后续为了出论文、或者需要在有已知大效应基因座上做精细分析再跑完整BOLT-LMM。两种模式可以共用同一个预处理好的二进制基因型文件切换成本很低。2.3 输入文件格式和参数编码里的细节BOLT-LMM接受PLINK 1.0的BED/BIM/FAM格式。三个文件的前缀必须一致而且常见的一个坑是BIM文件里的SNP名称不能有重复染色体编号只能用数字1到22或X不能带chr字符更不能出现scaffold或unplaced这类非标准编号。BOLT-LMM对这些非标准染色体会直接报错或默默跳过导致结果里缺一块数据。表型文件则是单独的文本文件每行两个列FID和IID接着是表型值也可以带协变量列。这个文件不需要表头但列顺序和FAM文件里的个体顺序不需要一致——它会按照FID和IID自动匹配。还有一个细节BOLT-LMM默认不接受缺失表型只要表型列是NA它整行都丢掉所以清洗表型时要把确定要纳入分析的样本全留下。3. 实操过程与核心环节实现3.1 安装前的依赖环境准备BOLT-LMM是Linux命令行程序官方只提供Linux版本没有Windows原生版本。它在GitHub上以源码形式发布需要自己编译。编译本身并不复杂但在部分服务器上会遇到老掉牙的工具链问题。我建议先确认以下几项。第一系统要有g或gcc编译器版本至少4.8以上。第二需要BOOST C库BOLT-LMM目前版本对BOOST的依赖主要是iostreams、iostream、program_options等几个模块。第三推荐安装Intel MKL数学库因为BOLT-LMM的随机数生成和矩阵运算性能跟BLAS库关系很大用MKL能比用默认的OpenBLAS快不少尤其在核心数多的时候更明显。第四需要zlib库这个一般系统都会自带。在Ubuntu或Debian系统上我习惯这样一次性装齐sudo apt update sudo apt install g make zlib1g-dev libboost-all-devCentOS或Rocky Linux这类系统unzip、gcc-c、boost-devel、zlib-devel用yum或dnf装sudo yum install gcc-c make zlib-devel boost-develMKL的安装有两种方式一种是直接装Anaconda后使用conda安装MKL运行时这会把MKL以动态库方式放在conda的lib目录下另一种是去Intel官网下载MKL独立安装包。在这个环节大多数人会用intel oneAPI的安装脚本装完以后把相关路径写进LD_LIBRARY_PATH就行。我自己实际测试下来如果服务器本身有conda环境用conda install mkl是最省事的编译时BOLT-LMM的Makefile能自动找到它的头文件路径。3.2 获取源码与执行编译BOLT-LMM的源码可以从GitHub官方仓库获取。克隆或下载压缩包后解压进入目录直接运行wget https://github.com/BOLT-LMM/BOLT-LMM/archive/refs/tags/v2.3.6.tar.gz tar -xzf v2.3.6.tar.gz cd BOLT-LMM-2.3.6 make这里的make默认会调用Makefile而Makefile会自动检测BOOST和MKL的位置。如果MKL、BOOST都在标准路径下整个过程不会报错一两分钟后就出现bolt和bolt-lmm.inf两个可执行文件。这时用./bolt --help看一眼能正常打印一大堆参数说明就说明编译成功了。前几年有些版本在编译时会因为新的g对代码的严格检查报错比如error: ‘sqrt’ was not declared in this scope这类。解决办法是给Makefile增加-stdc11编译选项或者安装更高版本的BOOST。2.3.6版本之后对现代编译器兼容性好了不少我在Ubuntu 22.04和CentOS 7上都能一次通过。3.3 编译报错排查与典型原因编译这一步虽说不难但网上问得最多的问题几乎都集中在编译报错上。整理一下我遇到过的几种典型情况。第一类找不到boost头文件。提示fatal error: boost/iostreams/device/file_descriptor.hpp: No such file or directory。这种情况多发生在默认BOOST路径不是/usr/include的服务器上。解决办法是修改Makefile里的BOOST_INCLUDE变量指向实际的boost头文件位置。如果是conda安装的boost路径类似/path/to/anaconda3/include。第二类MKL库路径不对。提示cannot find -lmkl_intel_lp64这类链接错误。解决办法是确认MKLROOT环境变量是否指向MKL安装目录并在Makefile里把MKL_INCLUDE和MKL_LIB路径写正确。常见MKL路径为/opt/intel/oneapi/mkl/latest/include和/opt/intel/oneapi/mkl/latest/lib。第三类内存不足导致编译失败。BOLT-LMM编译过程本身内存占用不大但如果同时开多个编译任务小内存机器可能被压垮。可以在Makefile里把-j参数去掉或改成-j 2降低并行度。编译完成后还有一步容易被忽略把快捷键挂到PATH里方便任何目录下都能调用。我通常是建一个软链接ln -s /path/to/BOLT-LMM-2.3.6/bolt /usr/local/bin/bolt ln -s /path/to/BOLT-LMM-2.3.6/bolt-lmm.inf /usr/local/bin/bolt-lmm.inf这样后面写分析脚本时不用写绝对路径。3.4 用内置样例数据验证安装源码包里的test目录带了模拟数据非常小跑起来只要几秒钟是验证安装是否成功的标准动作。调用方式大致是cd test ../bolt --bedgeno.bed --bimgeno.bim --famgeno.fam \ --phenophen.txt --covarcovar.txt \ --lmm --numThreads4 \ --LDscoresFileldsc_list.txt \ --geneticMapFilegenetic_map.txt \ --statsFilebolt_output不同版本的样例参数略有差异最稳妥的方式是直接看test目录里有没有一个运行脚本比如run_example.sh或README里写的命令。直接照着跑一遍最后看到BEGIN BOLT-LMM ANALYSIS和END BOLT-LMM ANALYSIS这两行日志并且bolt_output文件里列出一堆SNP的p值就说明安装和基本调用完全正常。3.5 正式数据分析的运行命令模板验证安装之后正式数据就可以套用这个模板。假设你的PLINK二进制文件前缀是gwas_data表型文件是phenotype.txt协变量文件是covariates.txt想跑BOLT-LMM-inf模式命令可以写成bolt-lmm.inf \ --bedgwas_data.bed \ --bimgwas_data.bim \ --famgwas_data.fam \ --phenophenotype.txt \ --covarcovariates.txt \ --covarMaxLevels20 \ --lmm \ --numThreads16 \ --LDscoresFileldsc_list.txt \ --geneticMapFilegenetic_map_hg38.txt \ --statsFileresult_inf.txt \ --bgenMinMAF0.01 \ --bgenMinINFO0.3 \ --verbose其中--covarMaxLevels是给分类协变量用的比如批次、性别如果协变量里有一个变量取值很多需要调大这个上限不然会默认当成连续变量处理结果可能完全不对。--LDscoresFile和--geneticMapFile分别用于LD评分回归校正和遗传距离BOLT-LMM官方会给对应的参考文件下载后在多个分析里重复使用。如果想跑完整BOLT-LMM模型把可执行文件换成bolt额外增加类似这样的参数--reml --remlNoRefine \ --bootstrapNumber100 \ --modelBootstrap100 \ --seed42这里--reml会先估算方差分量REML--bootstrapNumber和--modelBootstrap用于通过bootstrap稳定方差分量的估计。这个模式跑起来会比inf版本慢不少但在数据规模不大比如N小于两万时差距不明显。3.6 从运行日志判断执行状态BOLT-LMM的日志写得非常清晰但很多新手不看导致中间发现结果不对时已经白跑了很久。日志里值得关注的关键节点有这么几个。第一条是样本量确认。这里会显示经过缺失表型、协变量缺失过滤后进入分析的个体数。如果过滤后个体数远小于预期回头看表型文件有没有搞错FID/IID对应关系。第二条是方差分量估计。这里会出现Estimating variance components...的进度条后面接一个Heritability估计值。这个值如果异常接近0或者超过1.5基本说明表型或亲缘关系有问题。第三条是每一条染色体的扫描进度日志显示Scanning chromosome 1... Scan finished这里能直观看到并行度发挥得怎么样。第四条是最后输出的BOLT-LMM p值文件里的GC lambda值一般控制在1.0到1.1之间如果超过1.5说明模型没有完全控制住分层要重新检查协变量设置。4. 常见问题与排查技巧实录4.1 个体过滤后为零或数量骤减运行日志里如果出现类似No individuals left after filtering或者过滤后个体数比FAM文件少了一大截十有八九是表型文件和FAM文件之间的FID/IID匹配出了问题。常见原因包括表型文件里混入了FAM文件里没有的个体FID和IID写反了表型文件里用了带表头的格式第一行被当成个体数值型表型里混了一个非数字字符串。解决办法是写一个简单的循环脚本把ID对上awk NRFNR{a[$1\t$2]1;next} ($1\t$2 in a) fam.txt phenotype.txt matched_pheno.txt还能用--phenoCol参数指定具体表型列减少文件格式干扰。4.2 内存占用过高甚至OOMBOLT-LMM宣称内存优化但实际运行中如果给的数据太大、又没限制内存策略服务器照样可能被杀。完整的BOLT-LMM模式中亲缘矩阵的随机化抽样阶段内存占用较大在十万样本级别可能占几十GB。建议在做大规模分析前先用--numThreads控制并发同时用--maxMissingPerSnp等参数减少缺失太多位点对矩阵的影响。如果内存还是不够优先考虑用--infOnly模式或BOLT-LMM-inf它对内存要求低很多。另外一个实操技巧是在集群上提交任务时给内存申请量留30%余量不要卡着理论值申请。4.3 关于LD评分文件与遗传图谱文件这两年新编译的BOLT-LMM加了一些新功能也新增了对LD评分文件和遗传图谱文件的依赖。很多人跳过了这两个文件直接跑--lmm结果程序运行到一半报错Missing LDscoresFile或者Unable to load genetic map file。解决办法是在BOLT-LMM的GitHub官方仓库页面下载对应参考文件比如ldsc_list.txt和genetic_map_hg38.txt这些都属于公开参考数据下载一次就能重复使用。遗传图谱文件的选择要看你的基因型坐标用的是hg19还是hg38别搞混。4.4 结果文件里出现大量负值或NaNBOLT-LMM输出文件里包含BETA、SE、P_BOLT_LMM等列。如果发现BETA是负数那是效应方向正常。但如果出现NaN或者数值异常巨大就要考虑基因型文件里是否含有ALT/REF编码不一致、重复SNP或者基因型缺失被错误编码成了别的值。先用PLINK做一轮完整QCplink --bfile gwas_data \ --geno 0.05 \ --maf 0.01 \ --hwe 1e-6 \ --make-bed --out gwas_data_qc再把QC后的文件重新喂给BOLT-LMM绝大多数数值异常都能消除。4.5 与PLINK输出结果的互相验证跑完BOLT-LMM很多人还会用PLINK的--assoc或--logistic再跑一遍做交叉验证这本身没问题但要清楚两者检验统计量含义不同。BOLT-LMM的p值是基于混合模型的它控制亲缘关系的膨胀效应因此p值理论上更保守但更准确。PLINK的简单回归在存在群体分层时p值可能更小所以看到两边p值不完全一致很正常。真正需要警惕的是GC lambdaPLINK的lambda如果远高于1.15而BOLT-LMM的lambda接近1.0就说明群体分层确实存在不能以PLINK的结果为准。5. 后续扩展与学习建议5.1 从单一GWAS到精细化分析BOLT-LMM输出的是全基因组水平的关联p值但拿到这个结果只走完了第一步。后面还有条件分析、精细定位、功能注释、LD分数回归等环节。BOLT-LMM本身能做条件分析通过--conditionOnCovar或把某个位点的等位基因剂量作为协变量放进去可以判断目标信号是否独立于已知的显著位点。我自己做数据分析时通常先把BOLT-LMM的显著位点按LD区块划分每个区块挑一个index SNP再在这个区块内做逐步回归找出潜在的多重信号。5.2 适合配合使用的其他工具BOLT-LMM主要处理二元性状和连续性状。如果表型是生存数据、有序分类数据这类复杂结构还需要配合其他工具做扩展。现在很多流程会把BOLT-LMM的结果传进LocusZoom做区域可视化用FUMA做功能注释用MAGMA做基因水平分析。这些工具的安装和使用各自都有不少细节不过它们之间的数据接口很成熟最基本的输入就是SNP名、染色体、位置、p值。建议第一次做完整流程时先拿一个小规模数据把整条链路跑通再放到全基因组数据上否则中间报错排查起来效率很低。5.3 读书笔记里值得反复看的文献BOLT-LMM算法本身发表在《Nature Genetics》上题目带BOLT-LMM的paper就是这个工具的权威出处。精读这篇paper能帮你理解BOLT-LMM和GEMMA在模型上的本质区别。另外一篇是LD分数回归的论文它跟BOLT-LMM配合使用可以估算遗传力和遗传相关性做复杂性状解读时经常会碰到。把这些文献放在手边遇到参数拿不准时回头翻一翻比盲目在网上搜答案靠谱得多。最后再分享一个我自己的实操体会安装BOLT-LMM其实是最简单的一环真正决定分析质量的往往是数据清洗和参数理解。第一次跑通以后建议用一份已知结果的公开数据做对照实验验证一下自己的命令和参数能得到相似的结果再放手处理自己的真实数据。这样一系列动作做下来你对BOLT-LMM的理解会比只看教程的人深得多。