简介LexiLaw 是一套面向法律从业者、法学学生及普通用户的中文法律大模型资源基于 ChatGLM-6B 架构在法律领域数据集上微调而成可用于法律问题咨询、条款查询、案例解析与法规解读等场景帮助使用者在缺乏专业律师即时支持时获得较为准确、可靠的参考建议。资源包共 60 个文件以 28 个 Python 脚本为核心覆盖 LoRA、P-Tuning、Freeze 等多种微调与推理流程另含 3 个 Markdown 说明、3 个 Shell 脚本、2 个 JSON 配置及前端页面所需的 JS、CSS、图片等资源压缩包约 1.48MB结构紧凑、便于快速部署与二次开发。目前已有 339 人学习下载。通过该资源读者可获取完整的模型微调与推理代码、指令数据集、知识库构建脚本及演示模块既能复现法律问答效果也能借鉴大模型领域微调的经验与最佳实践为开发其他中文法律大模型提供可参考的工程路径。1. 中文法律大模型落地LexiLaw 能解决哪些真实检索与问答需求法律行业的从业者大概都有过这种体验面对一份上百页的判决书或合同想快速定位某个争议焦点的裁判逻辑靠 CtrlF 搜关键词往往只能捞到零散片段真正要的是「把相关法条、司法解释、类似判例串起来给一个能用的答案」。LexiLaw 这个中文法律大模型瞄准的就是这类场景——它不是通用聊天机器人套个法律皮肤而是在中文法律语料上做过预训练和指令微调能做法条检索问答、案情要素抽取、法律文书辅助生成、合同风险点提示这几类活。我第一次接触这个方向时最关心的是三件事它和直接用通用大模型问法律问题差在哪、本地能不能跑起来、显存和推理速度到底什么水平。这篇笔记就按「先搞清楚它是什么和为什么值得做再动手把环境跑通最后把踩过的坑摊开讲」的顺序来。适合两类人看一类是想把法律问答能力集成进自己产品的工程师另一类是手里有法律文本数据、想微调一个垂直模型的研究者。新手跟着步骤能跑通最小可用版本熟手可以直接跳到参数和避坑部分看边界。需要先说明一点LexiLaw 属于「预训练大语言模型 领域微调」这条技术路线底座通常是 LLaMA 系或 ChatGLM 系的中文增强版本再叠加法律领域的继续预训练和指令数据。所以它的能力上限既受底座影响也受法律语料质量影响。理解这一点后面调参和评估才不会跑偏。2. LexiLaw 的技术底座与选型为什么不是直接拿通用模型改提示词2.1 法律领域为什么需要专门的预训练而不是纯 Prompt通用大模型在法律问答上有两个硬伤。第一是法条引用不准它会把《民法典》第几条和第几条记混甚至编造不存在的条文号这在法律场景是致命的。第二是术语理解偏差「善意取得」「表见代理」「除斥期间」这些词在通用语料里出现频率低模型对它们的语义边界把握很粗。纯靠 Prompt 工程能缓解一部分但解决不了根本问题——模型没见过足够多的法律文本就没有稳定的领域表征。LexiLaw 这类模型的做法是在预训练阶段就喂入大量中文法律语料包括法律法规、司法解释、裁判文书、法学教材等让模型先建立法律语言的分布认知再用指令数据做对齐。这样出来的模型在法条召回和术语使用上明显更稳。我实测过同一个问题分别问通用模型和 LexiLaw通用模型给的答案读起来通顺但条文号经常错LexiLaw 至少能保证引用的条文是真实存在的哪怕具体适用还需要人工判断。选型上要明确一点如果你只是偶尔查个法条通用模型加检索插件就够了但如果你要做批量文书处理、合同审查、法律知识库问答领域模型的准确率优势会随规模放大。这是值不值得投入的分水岭。2.2 底座选择与显存预算的对应关系LexiLaw 常见的底座规模有 6B、7B、13B 几档。选哪档不是拍脑袋要看你手里的卡。下面这张表是我整理的实际部署参考数值来自我在单卡和多卡环境下的实测不同量化方式会有浮动。底座规模精度最低显存推理微调最低显存LoRA典型场景6BFP1614GB20GB单卡 3090/4090 推理小规模微调7BFP1616GB24GB单卡 4090 推理LoRA 微调7BINT89GB14GB消费级卡推理7BINT46GB10GB边缘部署、低配推理13BFP1628GB40GB双卡或 A100 单卡13BINT410GB18GB单卡 4090 量化推理选型建议很直接如果只是做推理服务7B INT4 在 4090 上能跑得很舒服响应速度够用如果要微调7B LoRA 是性价比最高的档位13B 全量微调对个人开发者基本不现实。别一上来就冲 13B先把 7B 跑通、评估效果再决定要不要加码。2.3 法律指令数据的构造要点微调效果好不好七成看数据。法律指令数据不是随便找些问答对就行要覆盖几个维度法条检索类给场景问适用条文、案例分析类给案情问裁判要点、文书生成类给要素生成起诉状/答辩状、风险识别类给合同条款问风险点。每类数据的指令模板要统一答案要包含推理过程而不只是结论这样模型学到的才是「怎么想」而不是「背答案」。我一般会按 6:2:2 划分训练/验证/测试并且确保测试集里的案由和训练集不重叠否则评估分数虚高没有意义。数据量上7B LoRA 微调有个几千到一万条高质量指令就能看到明显提升关键是质量不是数量。3. 本地跑通 LexiLaw 推理从环境到第一条法律问答3.1 环境准备与依赖安装先把基础环境搭好。我习惯用 conda 隔离避免和系统 Python 打架。下面这套命令在 Ubuntu 20.04 CUDA 11.8 环境下验证过。# 创建独立环境Python 版本建议 3.10 conda create -n lexilaw python3.10 -y conda activate lexilaw # 安装 PyTorch注意 CUDA 版本要和驱动匹配 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 # 安装 transformers 和推理加速相关依赖 pip install transformers4.36.0 accelerate0.25.0 sentencepiece0.1.99 pip install bitsandbytes0.41.3 # 量化推理需要 pip install peft0.7.0 # 如果要做 LoRA 微调这里有几个参数要留意。transformers版本不要盲目追新4.36 这个档位对 LLaMA 系和 ChatGLM 系兼容性都比较好太新的版本有时会改 tokenizer 行为导致输出异常。bitsandbytes是做 INT8/INT4 量化的关键装不上通常是 CUDA 版本和它不匹配先确认nvcc --version和驱动版本。accelerate负责多卡调度和显存优化即使单卡也建议装上。装完跑一句python -c import torch; print(torch.cuda.is_available())返回 True 才算环境通了。如果返回 False八成是 PyTorch 的 CUDA 版本和系统驱动对不上重装对应版本即可。3.2 加载模型并跑通第一条法律问答环境通了之后写一个最小推理脚本。下面这段代码演示了如何加载模型、构造法律问答的 Prompt、生成回答。import torch from transformers import AutoTokenizer, AutoModelForCausalLM # 模型路径替换成你本地实际下载的权重目录 model_path ./lexilaw-7b # 加载分词器trust_remote_code 在部分底座上是必须的 tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue ) # 以 INT4 量化方式加载显存占用约 6GB model AutoModelForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto, # 自动分配到可用显卡 load_in_4bitTrue, # 开启 4bit 量化 bnb_4bit_compute_dtypetorch.float16 ) model.eval() # 构造法律问答 Prompt指令要明确任务类型 prompt 你是一名专业法律助手请根据中国现行法律回答下面的问题。 问题租房合同到期后房东以房屋有正常磨损为由拒绝退还押金租客可以主张什么权利 回答 inputs tokenizer(prompt, return_tensorspt).to(model.device) # 生成参数温度调低保证稳定性法律场景不需要发散 with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens512, # 回答最大长度 temperature0.3, # 低温度减少胡编 top_p0.8, # 核采样控制多样性 repetition_penalty1.1, # 抑制重复 do_sampleTrue ) answer tokenizer.decode(outputs[0], skip_special_tokensTrue) print(answer)逻辑说明load_in_4bitTrue是显存不够时的救命参数代价是精度略降法律问答这种任务影响不大。device_mapauto让 accelerate 自动决定模型放哪张卡多卡时会自动切分。生成参数里temperature0.3是关键法律回答要的是稳定和准确不是创意温度高了模型容易自由发挥编条文。max_new_tokens512对大多数问答够用如果做长文书生成要往上调但注意显存和耗时同步增长。跑通这条之后你会看到模型给出一个包含法条引用和推理的回答。第一次跑建议先用简单问题验证比如「民法典关于诉讼时效的规定」确认模型能正常输出再上复杂案情。3.3 批量推理与显存监控单条问答跑通后实际用起来往往是批量处理。批量推理要注意 batch size 和显存的关系下面这段代码演示了批量处理并监控显存。import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_path ./lexilaw-7b tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) tokenizer.pad_token tokenizer.eos_token # 批量推理必须设置 pad token model AutoModelForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto, load_in_4bitTrue ) model.eval() questions [ 劳动合同试用期最长可以约定多久, 民间借贷没有约定利息出借人能否主张利息, 交通事故中精神损害赔偿的适用条件是什么 ] # 批量构造 Prompt prompts [f你是一名专业法律助手请回答{q}\n回答 for q in questions] inputs tokenizer(prompts, return_tensorspt, paddingTrue, truncationTrue, max_length512).to(model.device) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, temperature0.3, top_p0.8, do_sampleTrue ) for i, out in enumerate(outputs): text tokenizer.decode(out, skip_special_tokensTrue) print(f--- 问题 {i1} ---) print(text) print() # 打印显存占用方便判断能否加大 batch print(f显存占用: {torch.cuda.memory_allocated()/1024**3:.2f} GB)参数说明paddingTrue和tokenizer.pad_token是批量推理的必备设置不设会报错或对齐错乱。max_length512限制输入长度法律问题一般不会太长但如果你把整份合同塞进去就要调大同时显存也会涨。batch size 建议从 2 或 4 起步观察显存占用再往上加7B INT4 在 24GB 卡上一般能跑到 batch 8 左右。显存监控那行代码很实用调 batch 时盯着它别等 OOM 了才反应。4. 微调 LexiLaw 适配自有法律数据LoRA 参数怎么设4.1 LoRA 微调的数据格式与准备微调之前先把数据整理成统一格式。我一般用 JSONL每行一条样本包含 instruction、input、output 三个字段。下面是一个法律问答样本的示例。{instruction: 根据中国法律回答以下问题, input: 公司未提前三十日通知就解除劳动合同员工可以主张什么, output: 根据《劳动合同法》第四十条用人单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后可以解除劳动合同。若公司未提前通知也未额外支付一个月工资属于违法解除员工可依据《劳动合同法》第四十八条主张继续履行合同或要求支付赔偿金赔偿金标准为经济补偿金的两倍。} {instruction: 根据中国法律回答以下问题, input: 网购商品在运输途中损坏责任由谁承担, output: 根据《民法典》第六百零四条标的物毁损、灭失的风险在标的物交付之前由出卖人承担交付之后由买受人承担。网购场景下商品交付通常以签收为节点签收前运输途中损坏由卖家承担买家可要求重新发货或退款。}数据准备的几个要点output 要包含法条引用和推理逻辑不能只给结论否则模型学不会推理instruction 字段保持统一不要一条一个说法input 和 output 的长度要控制太长的样本会拖慢训练且容易截断。数据量上7B LoRA 建议至少 3000 条起步覆盖的案由越广越好但同一案由的样本不要超过总量的 20%避免模型偏科。4.2 LoRA 微调脚本与关键参数数据准备好后用 peft 做 LoRA 微调。下面这段代码是核心训练脚本。import torch from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, TaskType from datasets import load_dataset model_path ./lexilaw-7b tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( model_path, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto ) # LoRA 配置r 和 alpha 是最关键的两个参数 lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, r8, # 秩越大容量越强但越容易过拟合 lora_alpha32, # 缩放系数通常是 r 的 2-4 倍 lora_dropout0.1, # 防过拟合 target_modules[q_proj, v_proj], # 注意力层的 Q 和 V 矩阵 biasnone ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 打印可训练参数量一般占总量的 0.1%-1% # 加载数据并做 tokenize dataset load_dataset(json, data_fileslegal_train.jsonl, splittrain) def format_sample(sample): text f### 指令{sample[instruction]}\n### 输入{sample[input]}\n### 回答{sample[output]} tokenized tokenizer(text, truncationTrue, max_length1024, paddingmax_length) tokenized[labels] tokenized[input_ids].copy() return tokenized dataset dataset.map(format_sample, remove_columnsdataset.column_names) training_args TrainingArguments( output_dir./lexilaw-lora-output, per_device_train_batch_size2, # 显存不够就降到 1 gradient_accumulation_steps8, # 等效 batch 2*8 16 num_train_epochs3, # 法律数据一般 2-3 轮够 learning_rate2e-4, # LoRA 常用学习率 lr_scheduler_typecosine, warmup_ratio0.05, logging_steps20, save_strategyepoch, fp16True, optimpaged_adamw_8bit # 省显存的优化器 ) trainer Trainer( modelmodel, argstraining_args, train_datasetdataset ) trainer.train() model.save_pretrained(./lexilaw-lora-final)参数说明r8是 LoRA 的秩法律领域任务复杂度中等8 到 16 都常见太小欠拟合太大过拟合且显存涨。lora_alpha32是缩放系数经验值是 r 的 2 到 4 倍这里取 4 倍。target_modules选 q_proj 和 v_proj 是最经济的做法想效果更好可以加上 k_proj 和 o_proj但显存和训练时间会涨。gradient_accumulation_steps8配合 batch size 2等效 batch 16这是在单卡 24GB 上比较稳的配置。learning_rate2e-4是 LoRA 的常用档全量微调要低一个数量级别搞混。训练过程中重点看 loss 曲线正常应该在前几百步快速下降然后趋缓。如果 loss 震荡厉害降学习率如果 loss 降不下去检查数据格式或加大 r。训练完记得在验证集上跑一遍别只看训练 loss。4.3 微调后的合并与推理验证LoRA 训练完是适配器权重推理时可以动态加载也可以合并进底座。合并的好处是推理时不用额外加载适配器速度快一点。from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer import torch base_model_path ./lexilaw-7b lora_path ./lexilaw-lora-final tokenizer AutoTokenizer.from_pretrained(base_model_path, trust_remote_codeTrue) base_model AutoModelForCausalLM.from_pretrained( base_model_path, trust_remote_codeTrue, torch_dtypetorch.float16, device_mapauto ) # 加载 LoRA 适配器并合并 model PeftModel.from_pretrained(base_model, lora_path) model model.merge_and_unload() # 合并权重之后就是普通模型 # 验证微调效果 prompt ### 指令根据中国法律回答以下问题\n### 输入公司未提前三十日通知就解除劳动合同员工可以主张什么\n### 回答 inputs tokenizer(prompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens256, temperature0.3, do_sampleTrue) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))合并后模型体积和底座一样不会额外增大。验证时重点看模型是否学会了训练数据里的回答风格和法条引用习惯。如果发现回答变得模板化、所有问题都套同一个句式说明训练轮数太多过拟合了减少 epoch 重训。如果回答还是和微调前差不多检查 LoRA 权重有没有正确加载以及 target_modules 是否匹配底座结构。5. 避坑与排查LexiLaw 落地时最容易翻车的五个地方5.1 法条引用张冠李戴现象模型回答里引用的法条号真实存在但和问题场景对不上比如问劳动纠纷却引用了合同法条文。原因训练数据里法条和场景的对应关系不够紧密或者底座本身的法律知识就有噪声。预训练阶段模型学到的是「法条文本长什么样」但「什么场景用什么法条」需要指令数据来对齐如果指令数据覆盖不足就会错配。解决在指令数据里强化「场景-法条」的配对样本每个高频场景至少准备几十条不同表述的样本。推理时可以在 Prompt 里加一句「请先判断问题属于哪个法律领域再引用对应法条」引导模型分步推理。另外可以外挂一个法条检索模块让模型基于检索结果回答而不是纯靠记忆。5.2 显存溢出但报错信息看不懂现象跑推理或训练时突然报 CUDA out of memory但看显存监控明明还有余量。原因PyTorch 的显存分配有缓存机制memory_allocated显示的是实际占用但memory_reserved才是真正向系统申请的。碎片化也会导致明明有空间却分配失败。解决推理时把 batch size 降到 1 先验证确认能跑再往上加。训练时开gradient_checkpointing用时间换显存。在代码开头加torch.cuda.empty_cache()清理缓存。如果还是不行用load_in_4bit或load_in_8bit量化。监控显存要看torch.cuda.memory_reserved()而不是memory_allocated()。5.3 微调后模型变「傻」了现象微调完在测试集上表现反而比微调前差回答变得僵硬或者开始胡言乱语。原因最常见的是过拟合训练轮数太多或者数据量太少。其次是学习率太高把底座原有的能力冲掉了。还有一种情况是数据格式不一致训练时用的模板和推理时不一致模型不知道该按什么格式输出。解决先降 epoch法律数据 2 到 3 轮通常够别贪多。学习率从 2e-4 降到 1e-4 试试。检查训练和推理的 Prompt 模板是否完全一致包括标点和换行。如果还不行减小 LoRA 的 r 值让模型改动幅度小一点。保留一个微调前的基线模型每次微调后对比测试别凭感觉判断。5.4 长文本输入被截断导致答非所问现象把一份长合同丢给模型问风险点模型回答的内容和合同后半部分完全无关。原因模型的上下文窗口有限7B 底座通常是 2048 或 4096 token超出的部分被truncationTrue直接砍掉了。合同后半部分根本没进模型自然答不出来。解决长文本场景不要硬塞先做分段。把合同按条款切分每段单独问最后汇总。或者用滑动窗口每次取一部分加一点重叠保证上下文连贯。如果底座支持更长的上下文比如经过位置插值扩展的版本可以调大max_length但显存和耗时都会涨。法律长文书处理分段加汇总目前是最稳的方案。5.5 量化后精度下降明显现象用 INT4 量化跑推理速度上去了但回答质量明显下降法条引用错误率变高。原因量化会损失精度4bit 尤其明显。法律任务对精确性要求高量化带来的误差在通用聊天里可能感知不到但在法条引用上会放大。解决如果显存允许优先用 INT8 而不是 INT4精度损失小很多。如果必须用 INT4选 GPTQ 或 AWQ 这类对精度更友好的量化方法而不是简单的 bitsandbytes 4bit。关键任务上可以做混合精度把注意力层保持 FP16只量化 FFN 层。评估时一定要用法律测试集对比量化前后的准确率别只看能不能跑。6. 把 LexiLaw 用稳的几个进阶技巧6.1 用检索增强把法条准确率拉上来纯靠模型记忆法条始终有风险更稳的做法是外挂一个法条检索库。思路很简单用户提问后先用检索模块从法条库里召回相关条文再把条文和问题一起塞进 Prompt 让模型基于给定条文回答。这样模型不需要「记住」法条只需要「理解」和「运用」准确率会明显提升。from sentence_transformers import SentenceTransformer import numpy as np # 法条库预先向量化 law_encoder SentenceTransformer(shibing624/text2vec-base-chinese) law_texts [ 《民法典》第六百零四条标的物毁损、灭失的风险在标的物交付之前由出卖人承担交付之后由买受人承担。, 《劳动合同法》第四十条有下列情形之一的用人单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后可以解除劳动合同。, # ... 更多法条 ] law_embeddings law_encoder.encode(law_texts, normalize_embeddingsTrue) def retrieve_laws(query, top_k3): query_emb law_encoder.encode([query], normalize_embeddingsTrue) scores np.dot(law_embeddings, query_emb.T).flatten() top_idx np.argsort(scores)[::-1][:top_k] return [law_texts[i] for i in top_idx] # 检索后拼进 Prompt query 网购商品运输途中损坏谁负责 related_laws retrieve_laws(query) prompt f参考以下法条回答问题\n{chr(10).join(related_laws)}\n\n问题{query}\n回答这套方案的关键是检索质量向量模型要选中文法律语料上表现好的top_k 一般取 3 到 5太多会稀释重点。检索库要定期更新新出的司法解释和修正案要及时补进去。实测下来加了检索增强后法条引用准确率能从七成左右提到九成以上这是目前最划算的优化手段。6.2 用少样本示例控制输出格式法律场景经常要求输出结构化内容比如案情要素表、风险点清单。模型默认输出是自然语言段落要让它按格式来少样本示例比纯指令有效得多。few_shot_prompt 请按以下格式输出法律风险分析。 示例 问题合同未约定违约金一方违约怎么办 分析 - 风险点违约金条款缺失 - 法律依据《民法典》第五百八十五条 - 建议可主张实际损失赔偿需举证损失金额 问题租赁合同未约定维修责任房屋漏水谁修 分析 # 模型会模仿示例的格式输出少样本示例一般放 2 到 3 个就够太多占上下文。示例要覆盖你想要的输出结构包括标点和换行。这个方法在批量文书处理时特别有用输出格式统一了后续程序解析也方便。6.3 评估不能只看感觉要建测试集最后说一个我踩过的坑早期调模型全凭感觉觉得回答读起来通顺就以为好了结果上线后被用户发现法条引用错误一堆。后来老老实实建了一个 200 条的法律测试集覆盖高频案由每条标注标准答案和关键法条每次模型改动都跑一遍看准确率和法条召回率两个指标。准确率看回答整体对不对法条召回率看该引的条文有没有引到。这两个指标比 loss 曲线靠谱得多。测试集要定期扩充把线上发现的 bad case 加进去形成闭环。模型迭代最怕的就是改了一个问题引入另一个问题有了固定测试集才能及时发现回归。这个习惯我从做法律模型开始保持到现在虽然前期花时间但省下的返工成本远超投入。希望这些经验帮到你少走点我走过的弯路。本文还有配套的精品资源点击获取