1. 从“生成”到“判断”NanoJev 到底在做什么第一次看到 NanoJev 这个名字加上“0.6B 小模型”“不生成一个字”“直接输出概率分布”这几个关键词我脑子里蹦出来的第一个念头是这不就是把 Transformer 的 decoder 头砍掉换成一个分类/回归头吗听起来简单但真正有意思的地方在于——它把大模型从“文本生成器”变成了“决策器”。传统的大语言模型不管是 7B、13B 还是 70B本质上都在做同一件事给定一段上下文预测下一个 token 的概率分布然后采样出一个 token再把这个 token 拼回上下文循环往复。这个过程叫自回归生成。它的优点是通用什么任务都能用“文字接龙”的方式解决缺点是慢、贵、而且对于很多只需要一个判断的任务来说生成一整段文字完全是浪费。NanoJev 的思路是既然很多任务本质上只需要一个决策——比如“这句话是正面还是负面”“这张图里有没有猫”“这个用户会不会点击”——那我为什么还要让模型一个字一个字地往外蹦我直接让模型输出一个概率分布不就行了吗这个想法听起来像是把大象装进冰箱但真正落地的时候有几个关键问题需要解决第一模型怎么知道要输出什么样的概率分布第二0.6B 这么小的模型能不能扛得住这种“直觉判断”的任务第三不生成文字之后原来的 Transformer 架构要怎么改我花了大概两周时间把 NanoJev 相关的论文、代码和实验记录翻了一遍又自己用 Qwen3-0.6B 做了一些复现实验。下面我把整个思路拆开从架构设计到实操细节再到踩过的坑完整地讲一遍。提示这篇文章假设你对 Transformer 的基本结构self-attention、FFN、layer norm有基本了解。如果完全没接触过建议先看一下 The Illustrated Transformer 或者李沐的 Transformer 论文精读不然有些地方会卡住。2. 核心思路拆解为什么“不生成”反而更强2.1 自回归生成的本质浪费我们先算一笔账。假设你有一个情感分类任务输入是一句 50 个字的评论输出是“正面”或“负面”。用传统的 GPT 式模型你需要把输入编码成 token 序列假设 50 个 token。模型前向传播输出最后一个位置的 logits维度是 vocab_size比如 150k。从这 150k 个 logits 里你只关心“正面”和“负面”对应的那两个 token 的概率。采样或者取 argmax得到一个 token。如果这个 token 不是“正面”或“负面”你还要继续生成直到出现为止。这个过程里99.99% 的计算都浪费在了你根本不关心的 token 上。而且如果模型生成的是“这部电影真的很棒”你还得再写一个解析器去判断它到底是正面还是负面。这就像你问一个人“今天天气怎么样”他非要给你背一遍《诗经》再告诉你“晴”。NanoJev 的做法是在 Transformer 的最后一层后面直接接一个决策头decision head这个头是一个简单的线性层或者 MLP把 hidden state 映射到你关心的那个概率分布上。比如二分类就是 2 维十分类就是 10 维回归就是 1 维。这样一来模型的前向传播只做一次输出直接就是你要的概率分布。没有自回归循环没有 token 采样没有后处理解析。速度提升不是一点半点。2.2 0.6B 模型的“直觉”从哪来有人可能会问0.6B 的模型参数量只有 GPT-3 的百分之一它凭什么能做判断这里的关键在于判断任务和生成任务对模型能力的要求是不一样的。生成任务需要模型掌握大量的世界知识、语法规则、推理能力因为它要“无中生有”地创造出合理的文本。而判断任务尤其是那些输入已经给出了足够信息的任务模型只需要学会“提取特征”和“映射到决策空间”。举个例子判断一条评论是正面还是负面你不需要知道量子力学也不需要会写诗。你只需要识别出“好”“棒”“喜欢”这些词以及“差”“烂”“讨厌”这些词然后做一个加权求和。0.6B 的模型参数量虽然小但它的 hidden dimension 通常有 1024 或 2048足够编码这种级别的特征。更重要的是NanoJev 通常不是从零训练而是在一个预训练好的小模型比如 Qwen3-0.6B基础上做微调。预训练阶段模型已经学到了丰富的语言表示你只需要在它上面加一个决策头用少量标注数据 fine-tune 一下它就能学会把 hidden state 映射到正确的决策上。我自己的实验里用 Qwen3-0.6B 做情感分类只用了 5000 条标注数据训练 3 个 epoch验证集准确率就到了 92%。相比之下用同样的模型做生成式情感分类需要更长的 prompt推理速度慢了 20 倍以上。2.3 决策头的设计选择决策头看起来简单但设计的时候有几个坑第一用最后一层的哪个位置Transformer 输出的是一个序列每个位置都有一个 hidden state。对于分类任务通常取最后一个 token 的位置如果是 decoder-only或者第一个 token 的位置如果是 encoder-only比如 BERT 的 [CLS]。NanoJev 的做法是取最后一个非 padding token 的位置因为 decoder-only 模型在预训练时就是用最后一个位置预测下一个 token这个位置的表示通常包含了整个序列的压缩信息。第二决策头用线性层还是 MLP线性层最简单参数量少不容易过拟合。MLP 表达能力更强但需要更多数据。我的经验是如果任务简单二分类、三分类线性层就够了如果任务复杂比如多标签分类、回归可以加一个 hidden layer但要注意加 dropout。第三要不要加 layer norm如果预训练模型的输出已经经过了 layer norm通常不需要再加。但如果你的决策头前面接的是多个层的拼接加一个 layer norm 可以帮助稳定训练。下面是一个典型的决策头实现import torch import torch.nn as nn class DecisionHead(nn.Module): def __init__(self, hidden_size, num_classes, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) self.classifier nn.Linear(hidden_size, num_classes) def forward(self, hidden_states, attention_mask): # 取最后一个非 padding token 的 hidden state # attention_mask: (batch, seq_len), 1 表示有效 token last_token_idx attention_mask.sum(dim1) - 1 # (batch,) batch_size hidden_states.size(0) last_hidden hidden_states[torch.arange(batch_size), last_token_idx] last_hidden self.dropout(last_hidden) logits self.classifier(last_hidden) return logits这段代码里attention_mask.sum(dim1) - 1是找到每个样本最后一个有效 token 的索引。注意如果你的 padding 在左边left padding这个逻辑要反过来。3. 从 Qwen3-0.6B 到 NanoJev实操全流程3.1 环境准备与模型加载我用的环境是 PyTorch 2.1 Transformers 4.40 CUDA 12.1。如果你没有 GPUCPU 也能跑但训练会慢很多。Qwen3-0.6B 的参数量是 0.6BFP16 精度下大概占 1.2GB 显存推理的时候 batch size 可以开到 32 甚至 64。pip install torch transformers datasets accelerate加载模型的时候注意 Qwen3 的 tokenizer 和模型类from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen3-0.6B tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue )这里有一个细节Qwen3 的 tokenizer 默认没有 pad token你需要手动设置tokenizer.pad_token tokenizer.eos_token model.config.pad_token_id tokenizer.eos_token_id不然在 batch 推理的时候会报错。3.2 数据准备与预处理我用的数据集是一个中文情感分类数据集大概 5 万条正面负面各一半。预处理的时候我把每条评论截断到 128 个 token不够的用 pad token 补齐。from datasets import Dataset def preprocess(examples): inputs tokenizer( examples[text], truncationTrue, max_length128, paddingmax_length, return_tensorspt ) inputs[labels] examples[label] return inputs dataset Dataset.from_dict({text: texts, label: labels}) dataset dataset.map(preprocess, batchedTrue)注意这里我用的是paddingmax_length因为后面取最后一个非 padding token 的时候需要知道每个样本的实际长度。如果你用paddinglongest每个 batch 的长度不一样取索引的时候要小心。3.3 模型改造把 CausalLM 变成 DecisionModel这是最关键的一步。Qwen3-0.6B 原本是一个Qwen3ForCausalLM它的输出是CausalLMOutputWithPast包含logits维度是 batch × seq_len × vocab_size。我们要做的是去掉原来的lm_head那个把 hidden state 映射到 vocab_size 的线性层。加一个DecisionHead把 hidden state 映射到 num_classes。class NanoJevModel(nn.Module): def __init__(self, base_model, num_classes): super().__init__() self.base_model base_model self.decision_head DecisionHead( hidden_sizebase_model.config.hidden_size, num_classesnum_classes ) # 冻结 base model 的 lm_head如果存在 if hasattr(base_model, lm_head): for param in base_model.lm_head.parameters(): param.requires_grad False def forward(self, input_ids, attention_mask, labelsNone): outputs self.base_model( input_idsinput_ids, attention_maskattention_mask, output_hidden_statesTrue ) hidden_states outputs.hidden_states[-1] # 最后一层的 hidden states logits self.decision_head(hidden_states, attention_mask) loss None if labels is not None: loss_fn nn.CrossEntropyLoss() loss loss_fn(logits, labels) return {loss: loss, logits: logits}这里有一个性能优化的点output_hidden_statesTrue会返回所有层的 hidden states但我们只需要最后一层。如果你显存紧张可以只取outputs.last_hidden_state不过 Qwen3 的CausalLMOutputWithPast默认不返回last_hidden_state所以还是得用hidden_states[-1]。3.4 训练配置与参数选择训练的时候我用了 AdamW 优化器学习率 2e-5weight decay 0.01batch size 32训练 3 个 epoch。学习率调度用的是 cosine schedulewarmup ratio 0.1。from transformers import TrainingArguments, Trainer training_args TrainingArguments( output_dir./nanojev-checkpoint, num_train_epochs3, per_device_train_batch_size32, per_device_eval_batch_size64, learning_rate2e-5, weight_decay0.01, warmup_ratio0.1, lr_scheduler_typecosine, evaluation_strategyepoch, save_strategyepoch, load_best_model_at_endTrue, metric_for_best_modelaccuracy, fp16True, logging_steps100, report_tonone )这里有几个参数值得解释学习率 2e-5对于 fine-tune 小模型这个学习率比较稳妥。如果太大模型容易遗忘预训练知识如果太小收敛太慢。我试过 5e-5训练 loss 震荡比较厉害最后准确率反而低了 1 个点。batch size 320.6B 模型在 24GB 显存上batch size 32 加 FP16 大概占 8GB 显存还有余量。如果你显存更小可以用 gradient accumulation 来模拟大 batch。warmup ratio 0.1前 10% 的 step 用来 warmup防止一开始学习率太大把预训练权重带偏。weight decay 0.01对决策头的参数做正则化防止过拟合。base model 的参数我一般不加 weight decay因为它们已经预训练好了。3.5 推理与部署训练完之后推理就非常简单了model.eval() with torch.no_grad(): outputs model(input_idsinput_ids, attention_maskattention_mask) probs torch.softmax(outputs[logits], dim-1) predictions torch.argmax(probs, dim-1)整个过程没有自回归循环一次前向传播就出结果。我在 CPU 上测过Qwen3-0.6B 的 NanoJev 版本batch size 1 的情况下单条推理大概 50ms。如果用 ONNX Runtime 或者 TensorRT 优化还能再快 2-3 倍。注意如果你要把模型部署到生产环境记得把 base model 和 decision head 一起导出。我一开始只保存了 decision head 的权重结果加载的时候发现 base model 的 lm_head 被冻结了但还在计算图里导致推理速度慢了一倍。后来把 lm_head 直接删掉速度才恢复正常。4. 常见问题与排查技巧实录4.1 训练 loss 不下降怎么办这是最常见的问题。我遇到过好几次训练了 2 个 epochloss 还在 0.69 左右晃二分类的随机水平是 0.693。排查下来通常有以下几个原因第一学习率太大。0.6B 模型虽然小但 fine-tune 的时候学习率超过 5e-5 就容易发散。我建议从 1e-5 开始试如果 loss 下降太慢再往上加。第二决策头的初始化有问题。如果你用默认的nn.Linear初始化权重是 Kaiming 均匀分布对于分类任务可能不太合适。我一般会手动初始化成均值为 0、标准差 0.02 的正态分布nn.init.normal_(self.classifier.weight, mean0.0, std0.02) nn.init.zeros_(self.classifier.bias)第三base model 被冻结了。如果你只训练 decision headbase model 的参数全部冻结那模型只能学到最后一层的线性映射表达能力有限。我的经验是至少解冻最后 2-4 层让模型能微调一下高层表示。4.2 过拟合怎么处理0.6B 模型参数量不大但如果你的标注数据少于 1 万条过拟合的风险还是很高的。我试过用 2000 条数据训练训练集准确率到了 99%验证集只有 85%。处理过拟合我一般用这几招增加 dropout在 decision head 前面加一个 dropoutp0.1 到 0.3。如果过拟合严重可以加到 0.5。早停用验证集准确率做 early stoppingpatience 设 2 个 epoch。数据增强对于文本分类可以用同义词替换、随机删除、回译等方法扩充数据。减小学习率过拟合有时候是因为学习率太大模型在训练集上“跑得太快”。4.3 推理速度慢的排查NanoJev 的卖点之一就是快但如果你发现推理速度没有想象中那么快可以检查以下几点问题可能原因解决方法推理速度慢没有用 FP16加载模型时加torch_dtypetorch.float16推理速度慢batch size 太小增大 batch size充分利用 GPU 并行推理速度慢还在计算 lm_head把 base model 的 lm_head 删掉或设为 None推理速度慢用了 output_hidden_states只取最后一层不要返回所有层推理速度慢CPU 推理用 ONNX Runtime 或 OpenVINO 优化我实测下来Qwen3-0.6B 的 NanoJev 版本在 RTX 4090 上batch size 64 的情况下吞吐量大概 2000 条/秒。如果换成生成式同样的模型batch size 1吞吐量只有 20 条/秒左右。差距是 100 倍。4.4 决策头输出概率校准NanoJev 直接输出概率分布但这个概率不一定校准得好。什么意思呢就是模型说“90% 概率是正面”但实际上只有 70% 的样本真的是正面。这在需要置信度的场景比如风控、医疗里是个大问题。校准的方法有几种温度缩放Temperature Scaling在验证集上学习一个温度参数 T把 logits 除以 T 再 softmax。T 1 会让概率分布更平滑T 1 会让它更尖锐。class TemperatureScaler(nn.Module): def __init__(self): super().__init__() self.temperature nn.Parameter(torch.ones(1) * 1.5) def forward(self, logits): return logits / self.temperaturePlatt Scaling在 logits 上再训练一个逻辑回归把输出映射到校准后的概率。Isotonic Regression非参数方法直接拟合一个单调函数来校准概率。我一般先用温度缩放简单有效。如果效果不够好再试 Platt Scaling。5. 一些实操心得与扩展思路5.1 小模型做决策的边界在哪里NanoJev 不是万能的。我试过用它做几类任务效果差异很大效果好的任务文本分类情感、主题、意图短文本匹配相似度判断简单的回归评分预测、点击率预估效果一般的任务需要多步推理的任务数学题、逻辑推理长文本理解超过 512 个 token开放域问答原因很简单0.6B 模型的容量有限它能学会“模式识别”但学不会“深度推理”。如果你的任务需要模型理解复杂的因果关系或者需要多跳推理那还是得上大模型。5.2 决策头能不能接多个任务可以。我试过在同一个 base model 上接多个 decision head分别做情感分类和主题分类。训练的时候两个 head 的 loss 加权求和base model 共享。class MultiTaskNanoJev(nn.Module): def __init__(self, base_model, num_classes_task1, num_classes_task2): super().__init__() self.base_model base_model self.head1 DecisionHead(base_model.config.hidden_size, num_classes_task1) self.head2 DecisionHead(base_model.config.hidden_size, num_classes_task2) def forward(self, input_ids, attention_mask, labels1None, labels2None): outputs self.base_model(input_idsinput_ids, attention_maskattention_mask, output_hidden_statesTrue) hidden_states outputs.hidden_states[-1] logits1 self.head1(hidden_states, attention_mask) logits2 self.head2(hidden_states, attention_mask) loss 0 if labels1 is not None: loss nn.CrossEntropyLoss()(logits1, labels1) if labels2 is not None: loss nn.CrossEntropyLoss()(logits2, labels2) return {loss: loss, logits1: logits1, logits2: logits2}多任务学习的好处是base model 能学到更通用的表示两个任务互相正则化有时候比单任务效果还好。但要注意任务之间的权重平衡如果一个任务太难可能会拖累另一个任务。5.3 量化与边缘部署0.6B 模型虽然小但如果要部署到边缘设备比如手机、树莓派还是需要量化。我试过用 GPTQ 做 4-bit 量化模型大小从 1.2GB 降到 300MB推理速度提升 2 倍准确率只掉了 0.5 个点。from transformers import GPTQConfig quantization_config GPTQConfig(bits4, datasetc4, tokenizertokenizer) model AutoModelForCausalLM.from_pretrained( model_name, quantization_configquantization_config, device_mapauto )不过量化之后decision head 的精度也会受影响。我的做法是base model 量化decision head 保持 FP16。这样既能享受量化的速度优势又能保证决策头的精度。5.4 一个容易忽略的细节位置编码Qwen3 用的是 RoPE旋转位置编码。在 NanoJev 里如果你把输入截断到 128 个 tokenRoPE 的频率参数不需要改。但如果你要处理更长的序列比如 1024 个 token可能需要调整 RoPE 的 base 参数否则模型对长距离依赖的建模能力会下降。我试过用 512 个 token 的输入做训练发现模型在验证集上的表现比 128 个 token 差了 3 个点。后来把 RoPE 的 base 从 10000 调到 50000效果才恢复。这个细节在官方文档里没写是我自己踩坑踩出来的。5.5 后续可以怎么扩展NanoJev 的思路可以扩展到很多场景。比如推荐系统把用户历史行为编码成 hidden state直接输出点击概率。风控把交易序列编码直接输出欺诈概率。语音唤醒把音频特征编码直接输出唤醒词概率。核心思想都是一样的用 Transformer 做特征提取用 decision head 做概率映射跳过自回归生成。只要你的任务可以归结为“给定输入输出一个概率分布”NanoJev 就适用。我最近在试的一个方向是把 NanoJev 和对比学习结合用 InfoNCE loss 训练 decision head让模型学到的表示更有判别性。初步结果还不错在少样本场景下比直接 fine-tune 效果好 5-8 个点。等实验跑完再单独写一篇。最后分享一个小技巧如果你手头的标注数据很少比如几百条可以先在大量无标注数据上用 MLM掩码语言建模目标继续预训练 base model然后再接 decision head fine-tune。我试过用 10 万条无标注评论做 MLM再用 500 条标注数据 fine-tune效果比直接用 5000 条标注数据还好。这个思路其实和 ULMFiT 一脉相承但在小模型上特别有效。