第一次把一批16S rRNA测序数据往NCBI上提交我整整折腾了三个晚上。不是数据本身有问题也不是文件太大传不上去而是卡在一堆看起来无关紧要的字段上——采样日期写成2021年秋整批退回经纬度用度分秒又退回一次连样本名里夹了个空格都让系统报错。后来把流程摸透之后再提交十来个项目基本一次过。这篇就把NCBI数据库上传16S rRNA测序数据这件事从入口判断、样本注册、元数据填写、上传通道到审核驳回一条链路完整写出来包括我当时踩过的那些没人告诉你的坑。读完之后你应该能明确三件事你手上的16S数据到底该进哪个库、每个字段背后为什么要这么填、以及批量上传时怎么组织文件才不会被返工。不管你是做土壤微生物多样性、肠道菌群、水体环境监测还是发酵食品菌群分析这套流程都是通用的区别只在元数据细节上。1. 先分清16S数据的两条出口GenBank序列库与SRA原始读长库绝大多数人第一次卡住不是卡在操作上而是卡在我这份数据到底该交到哪。16S rRNA这个标签下面其实藏着两种完全不同的数据形态对应的提交入口也完全不同走错了就是白忙。1.1 全长单克隆序列走GenBank高通量扩增子读长走SRA如果你做的是传统克隆文库、Sanger测序拿到的全长约1500 bp的16S序列每条都经过拼接和人工校对那这批数据属于注释好的核酸序列应该走GenBank用 BankIt 或者 Sequin 那条线提交。你要提供的是一条条带注释的consensus序列外加对应的feature表比如16S rRNA的区间位置。而如果你做的是Illumina MiSeq、NovaSeq、PacBio或Nanopore平台跑出来的扩增子原始读长——也就是一堆FASTQ文件每条读长只有V3-V4或V4区那两三百个碱基——那这批数据属于原始测序数据应该走SRASequence Read Archive。SRA不关心你的序列有没有比对、有没有拼成OTU或ASV它只负责原样保存你机器吐出来的读长让后来人能重新分析。我见过不止一个课题组把几千条MiSeq读长硬往GenBank里塞结果被退回理由是序列未经过组装和注释不符合GenBank提交标准。反过来把Sanger全长序列丢进SRA也不是完全不行但那样会损失掉注释信息检索起来也不方便。所以第一刀要切清楚有注释的成条序列去GenBank没注释的机器读长去SRA。1.2 BioProject、BioSample、SRA三件套在体系里各管什么确定走SRA之后你会遇到NCBI这套三层结构很多人一开始分不清它们的从属关系。我用一个类比说明BioProject是项目档案袋BioSample是样本身份证SRA是原始数据仓库。BioProjectPRJNA开头描述一个项目的整体背景比如某地区农田土壤微生物多样性调查。一个项目下面可以挂很多样本。BioSampleSAMN开头描述单个样本的采集信息一个样本一张身份证必须全局唯一。SRA Experiment / RunSRX / SRR开头Experiment描述测序实验设计用了什么平台、什么文库、什么引物Run描述一次具体的测序产出一个或多个FASTQ文件。它们之间的挂接关系是BioProject 1 : N BioSampleBioSample 1 : N ExperimentExperiment 1 : N Run。举个具体例子你有一个100个土样的项目每样做PE250测序那么会产生1个BioProject、100个BioSample、100个Experiment、100个Run每个Run对应R1/R2两个文件。理解了这层结构你在填表时就知道样本名和运行名是两个不同层级的东西不能混着填。1.3 不同测序平台对应不同的Library字段组合16S扩增子的Library字段有一套相对固定的填法填错平台和策略会直接影响后续检索。下面这张表是我整理出来的常用组合可以直接对照字段常见填法说明Library StrategyAMPLICON扩增子专用别填WGSLibrary SelectionPCR经过PCR富集Library SourceGENOMIC 或 METAGENOMIC环境样本一般用METAGENOMICLibrary LayoutPAIRED 或 SINGLE双端填PAIRED单端填SINGLEPlatformILLUMINA / PACBIO_SMRT / OXFORD_NANOPORE按实际平台选Instrument ModelIllumina MiSeq 等越具体越好Target Gene16S rRNA关键字段Target SubfragmentV3-V4 / V4 / V4-V5 等引物扩增区域Target Gene和Target Subfragment这两个字段是16S特有的也是最容易被忽略的。如果你不填别人下载你的数据后会不知道你扩的是哪个区重新分析时就无法做区域一致性比较。我自己习惯在Target Subfragment里精确到引物覆盖的高变区比如27F-338R对应V1-V2341F-806R对应V3-V4。2. BioProject与BioSample把样本从哪来翻译成机器读得懂的结构搞清楚层级之后正式开工的顺序是先BioProject再BioSample最后SRA。顺序不能反因为SRA提交时需要引用前两者的accession号。2.1 BioProject注册标题别写得太学术BioProject的网页表单不长但有几个地方值得注意。项目标题我建议写成对象地点/时间数据类型的结构比如中国东部农田土壤16S rRNA扩增子测序而不是一句模糊的微生物多样性研究。因为BioProject标题是公开检索的第一层入口写得太笼统同领域的人根本搜不到你。项目类型Project Data Type里选Raw sequence reads如果同时还有组装数据可以多选。Description里写两三句话交代采样背景和目的就够了不需要写成摘要。Relevance那一栏可以选 Environmental 或 Medical 等分类不影响提交但影响检索归类。提交成功后系统会立刻给你一个PRJNA开头的编号。这个号先记下来BioSample表格里不会用到它但SRA提交时会。还有一个容易被忽略的点Umbrella BioProject。如果你是一个大课题下的多个子项目比如同一片样地连续三年采样每批单独提交可以申请一个Umbrella把所有子项目串起来。它不强制但对数据可发现性有明显帮助。我一般建议多年纵向研究都用Umbrella这样在NCBI上一眼能看出数据的时间序列关系。2.2 BioSample批量导入xlsx模板的关键在于先下载再改BioSample支持网页单个填也支持xlsx批量导入。样本超过十个一律用批量模板手填一定会出错。正确姿势是进入BioSample提交页面先选Package包类型然后下载对应的空白xlsx模板在模板里逐列填写。不要自己新建Excel从头设计字段因为不同Package要求的字段列名和顺序都不一样缺列或多列都会被系统拒绝。16S相关样本常用的Package大致分三类环境样本MIMARKS.survey.environmental或新的Microbe包下的环境分支宿主相关样本MIMARKS.survey.host-associated或Microbe的宿主分支植物相关样本MIMARKS.survey.plant-associated提示NCBI在近几年把老的MIxS包逐步整合进了更通用的Microbe包字段名可能有细微差异。提交前一定以你下载到的模板列名为准别照搬别人博客里的老表格。2.3 organism这一列90%的人第一次都会填错模板里最让人迷惑的就是organism字段。很多人下意识填了uncultured bacterium结果整批被退回。原因是NCBI对扩增子样本的organism有专门的取值规范环境样本通常填metagenome或更精确的soil metagenome、freshwater metagenome、marine metagenome、activated sludge metagenome宿主相关样本则填human metagenome、mouse metagenome这类。这里的原则是organism描述的是这批序列的来源群落整体而不是某一条序列的分类归属。你的16S数据里本来就有成千上万个物种填单一物种名是概念错误。uncultured bacterium之所以被拒是因为它属于序列层面的注释不属于样本层面的来源描述。我自己整理的一份常用organism对照供参考样本场景建议organism取值农田/林地土壤soil metagenome淡水/河水freshwater metagenome海水/沉积物marine metagenome活性污泥/污水activated sludge metagenome人类肠道/粪便human metagenome小鼠肠道mouse metagenome发酵食品food fermentation metagenome2.4 sample_name唯一性这一条踩过坑的人都懂sample_name必须在整个BioSample提交批次内全局唯一而且不能包含空格、斜杠、逗号这些特殊字符。我当初用S1、S2这种极简命名上传顺利但后来做多个项目时发现编号撞车导致自己都分不清哪套是哪套。后来我改成项目缩写_采样点_序号的命名法比如PRE05_S3_012既保证了唯一性也能一眼看出样本归属。sample_name是给你自己看的内部标识sample_title才是公开显示的名字两者分开设置前者求严谨后者求可读。提交BioSample后系统会在几小时到一天内返回SAMN开头的accession。拿到这串号才能进入下一步。3. MIMARKS元数据填空实战哪些字段必须准、哪些可以标缺失真正决定你提交会不会被驳回的往往不是数据文件而是元数据。16S这类群落样本遵循的是MIxS/MIMARKS标准其中有一批字段是必填的填不对就是返工。3.1 环境三要素env_broad_scale、env_local_scale、env_medium这三个字段是MIxS标准里的环境三元组很多新手第一次见会懵。它们要求用ENVO本体术语Environment Ontology来描述样本环境分三个尺度env_broad_scale大尺度环境比如soil、water、host-associated对应的ENVO编号或名称env_local_scale局部环境比如agricultural soil、river waterenv_medium样本介质本身比如soil、freshwater、feces填的时候可以直接写术语名称NCBI模板一般会给出下拉选项或示例值。这三个字段必须成体系填如果env_broad_scale填了soilenv_medium却填了water逻辑上就自相矛盾审核人员一眼就能看出问题。我的经验是先想清楚这个样本从哪个大环境里来、处于什么局部场景、具体是什么物质再对应到ENVO术语比死记编号高效得多。3.2 坐标和日期格式比内容更重要geo_loc_name和lat_lon这两个字段是退回率最高的。geo_loc_name的格式是国家:省份:城市这种冒号分隔结构比如China:Jiangsu:Nanjing。不要写成地址全称也不要只写城市名。省级以下可以不写到最细但国家这一层必须准确。lat_lon必须用十进制小数格式是纬度 N 经度 E例如32.06 N 118.79 E。我当初用了度分秒32°0336N直接被判格式错误。拉丁字母N/S/E/W要大写数字要用小数点而不是分符号这是硬性要求。collection_date必须符合ISO 8601格式要么是精确的2023-05-18要么是范围2023-05/2023-06但绝不能写2021年秋去年夏天这种自然语言。日期精度可以粗但格式必须规范这是很多人掉进去的坑。3.3 缺失值该怎么写MIxS有一套标准术语有些字段你确实没有数据比如采样时没记录pH或者样本是从合作方拿到的、采集人信息缺失。这时候不要留空也不要用无或者不详而要使用MIxS规定的标准缺失术语not collected确实没采集这项数据not provided有数据但暂不公开missing数据丢了not applicable该字段对本样本无意义restricted access数据受限这几个词看着相近但语义不同用错了虽然不一定被拒但会影响数据的可复用性。比如你要提交的样本是培养物纯菌那宿主相关字段就填not applicable如果样本是野外采样但忘了测pH就填not collected。注意留空和填错术语是两回事。留空往往直接触发校验失败填了个看似合理但不在标准词表里的词也可能在后台被标记。3.4 引物和测序信息要写进Experiment元数据不只BioSample那一层Experiment层还有一批关于测序本身的描述16S尤其需要写清楚字段内容示例作用Target Gene16S rRNA标明扩增目标Target SubfragmentV3-V4标明高变区Library Construction ProtocolPCR with 341F/806R描述引物与文库构建Primer341F: CCTACGGGNGGCWGCAG正向引物序列Primer806R: GGACTACHVGGGTATCTAAT反向引物序列Sequencing MethodIllumina MiSeq PE250平台与读长把引物写清楚的价值在于后来人如果想把你的数据和别的项目合并分析没有引物信息就无法判断区域是否可比。我自己下载别人的数据集时第一件事就是看Target Subfragment和引物缺了这两项的数据基本只能单用很难整合。所以轮到自己提交一定要填全。4. 上传通道怎么选网页表单、FTP客户端、命令行校验三条路元数据都填好之后才轮到真正的数据文件上传。这一环节有很多人是因为以为只能网页传而走了弯路。4.1 小批量走网页超过十个文件果断用FTPNCBI的SRA提交页面提供两种文件上传方式一种是通过浏览器直接拖拽上传适合几十MB到几GB的小批次另一种是系统在创建提交单后给你一个专属FTP上传地址和临时凭证用FTP客户端把文件推到指定目录。我一开始用浏览器上传两三个GB的FASTQ中途断网就得重来非常折磨。后来学会用FTP几十GB的文件分批传断了还能续传效率完全不是一个量级。网页上传适合几十MB的Demo验证正式提交一律走FTP。FTP客户端用 FileZilla 最省事把系统给你的主机地址、用户名、密码填进去直接把FASTQ文件拖到目标目录就行。也可以在Linux下用命令行# 用 lftp 上传整个目录支持断点续传 lftp -u username,password ftp://upload.ncbi.nlm.nih.gov EOF mirror -R --continue ./fastq_dir /upload_dir bye EOF上传目录里只放FASTQ文件本身不要放别的杂项。我见过有人把Excel表、readme一起塞进去结果系统扫描到非预期文件报错。4.2 文件命名和压缩两个细节省掉无数麻烦上传前有两件事必须做统一命名和gzip压缩。命名上建议每个Run的两个文件用同一前缀只区分R1/R2例如sample012_R1.fastq.gz和sample012_R2.fastq.gz。这样在你填metadata表时只要把文件名复制进去不容易对错行。压缩上NCBI接受.fastq.gz接受.fastq但不推荐未压缩的大文件一是传输慢二是失败重传成本高。gzip默认压缩比在3到4倍左右几GB的FASTQ压完往往只有一两百MB# 批量压缩并生成md5 for f in *.fastq; do gzip -c $f $f.gz md5sum $f.gz md5sum.txt done.gz压缩完成后记得用gunzip -t验证一遍完整性避免压缩过程中断导致文件损坏那种情况下传上去会被后台校验直接打回。4.3 MD5校验别跳过这一步NCBI的SRA提交要求提供每个文件的MD5校验值填在metadata表里。这个值必须在文件最终版本也就是压缩后的那个文件上算不能算完再改文件名或重新压缩。计算很简单# Linux md5sum sample012_R1.fastq.gz # macOS md5 sample012_R1.fastq.gz # Windows PowerShell Get-FileHash sample012_R1.fastq.gz -Algorithm MD5把算出来的32位十六进制字符串原样填进表格别改大小写、别多空格。这个字段一旦对不上整个Run就上传失败。我当初图省事手动敲了一部分MD5结果其中一个字符敲错排查了半天才找到从此一律用脚本生成后直接复制。如果上传后想自己验证一遍最踏实的办法是用SRA Toolkit把刚传上去的数据拉回来看看# 下载刚提交的Run用SRR号 prefetch SRRxxxxxxxx # 转成fastq双端会自动拆成两个文件 fasterq-dump --split-files SRRxxxxxxxx # 校验VDB格式完整性 vdb-validate SRRxxxxxxxxvdb-validate输出ok就说明归档没问题。这一步看着多余但能在正式发布前发现文件损坏或截断比等审稿人指出问题体面得多。5. 提交后的状态流转与驳回原因逐条排查点击最终提交之后并不是立刻就能查到数据了。SRA有一套处理流水线理解这个过程能帮你判断是正常等待还是出问题了。5.1 状态从Processing到Live通常要多久提交完成后系统状态一般会经历几个阶段Processing / Validating后台在做格式校验、MD5核对、文件解析通常几分钟到几小时Queued进入处理队列等待转成SRA内部格式大项目可能要一两天Live / Public数据正式可检索如果你设置了延迟发布Hold until publication那么数据会处于已提交但未公开状态只有你和共享凭证的合作者能看到。这个功能对还在投稿的课题非常关键你可以先占位等论文发表时再设置公开日期。我自己的做法是提交时就把公开日期设成预计的见刊月份避免论文发出来数据还锁着。5.2 几类高频驳回原因和对应修法即使流程走对了还是可能被退回。下面是我遇到过和同行反馈里最常见的问题按频率排驳回提示关键词真实原因修复方式Invalid date format日期不是ISO 8601改成 2023-05-18 或 2023-05Invalid lat_lon用了度分秒或格式错改成 32.06 N 118.79 EOrganism not foundorganism填了非法值改填 soil metagenome 等Duplicate sample_name样本名重复批次内查重后改名MD5 mismatch校验值与文件不符在最终文件上重算并更新Missing required field必填字段空着用 not collected 等术语补齐File name mismatch表里文件名和实际不一致逐字符核对注意大小写最容易被忽视的是文件名大小写不一致。Linux系统里Sample012_R1.fastq.gz和sample012_R1.fastq.gz是两个不同文件但Windows对大小写不敏感你在Windows上填表、在Linux上传就可能埋下这个坑。我现在一律全用小写命名彻底避开。5.3 发布之后怎么引用、怎么更新数据Live之后每个层级都有自己的accessionBioProject是PRJNABioSample是SAMNRun是SRR。论文里引用时最好把BioProject号写在数据可用性声明里这样读者顺着一个号就能找到整套数据如果只给SRR号别人得多步跳转。已经发布的数据如果需要修改比如发现某个样本的坐标填错了可以联系NCBI的数据管理员走更新流程或者对元数据部分重新提交修订。但原始FASTQ文件一旦归档原则上不允许替换这也是为什么上传前要把文件校验做到位——真正的上传即定稿删改的代价很高。另外值得知道的是NCBI的SRA、EBI的ENA、DDBJ的DRA之间是国际同步的。你在NCBI提交后数据会同步到其他两个库所以不用担心国外合作者下载不到。反过来说你也不需要在三个库各交一遍选一个提交即可。我在实际项目里的体会是把元数据的准备工作放到和数据生成同等重要的位置上。测序做完那天趁记忆还新鲜采样信息、引物、坐标就该整理成表格等到投