1. 医疗问答助手为什么值得用 LLaMA-Factory 微调通用大模型回答医疗问题时经常出现两个极端要么过于笼统像“建议及时就医”这种正确但没信息量的套话要么在专业术语上张冠李戴把不同科室的症状混在一起。我拿 Qwen3-0.6B-Instruct 原版模型问过“太阳穴两边痛、手脚无力、持续三天”这类描述它给的建议基本停留在“多休息、注意观察”和患者真正需要的分诊思路差得远。LLaMA-Factory 解决的就是这个问题。它把模型加载、LoRA 注入、数据打包、训练循环、权重合并这些步骤全部封装成网页操作你不需要写训练脚本只要选模型、传数据、调几个参数、点开始。对于医疗问答这种垂直场景用几百到几千条高质量问答对做 QLoRA 微调就能让 0.6B 的小模型在特定问题上明显更“懂行”。这篇面向的是想快速跑通“数据准备→微调→验证→接入统一 API”这条链路的人。硬件门槛不高一张 RTX 3080 级别的卡就能完成 0.6B 模型的 QLoRA 训练。训练完之后我会把模型接到 TaoToken 的统一 API 通道上这样你后续换模型、做对比、接进自己的应用都只需要改一个配置项不用反复折腾不同厂商的 SDK。整个流程分六块先讲清楚问题和场景再把 TaoToken 的前置准备做掉然后给出可复制的 LLaMA-Factory 训练配置骨架接着验证微调后的模型效果再排查几个高频报错最后把统一 API 通道的配置片段交给你。你跟着做能拿到一个能回答医疗问题的助手以及一套可复用的接入方式。2. TaoToken 前置准备统一 Key 与 API 通道微调只是第一步真正要落地成应用你还得让训练好的模型能被程序调用。这里我用 TaoToken 作为统一 API 通道原因是它把多家模型的调用方式收敛成一套 OpenAI 兼容接口你微调完的模型、想对比的基座模型、以后想换的其他模型都可以走同一个 Key 和同一个 base_url省掉为每个厂商写适配层的时间。先拿到访问凭证。打开官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册后在控制台里创建 API Key。控制台地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite Key 的管理页面在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。创建时给它起个能认出来的名字比如llama-factory-medical方便后面区分用途。API 的基础地址是 https://taotoken.net/api 注意这个地址后面不加任何查询参数。它兼容 OpenAI 的/v1/chat/completions和/v1/models接口所以你在 LLaMA-Factory 的推理配置里、在 Python 脚本里、在 Cursor 这类工具里填的都是同一个 base_url。如果你打算长期做编码类或 Agent 类的调用可以看一下 Coding Plan 页面 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 它针对高频调用场景做了额度设计。只是想先验证模型对话效果的话模型对话入口在 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite 可以直接在网页里试。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 遇到参数不确定时翻一下。注意API Key 只存在你自己的环境变量或本地配置文件里不要写进会提交到 Git 的代码。下面所有配置片段里Key 都用占位符表示你替换成自己的即可。3. 可复制的 LLaMA-Factory 训练配置骨架3.1 环境安装与版本确认先按官方方式装好 LLaMA-Factory。三条命令注意 Python 版本用 3.11git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory conda create -n llama-factory python3.11 -y conda activate llama-factory pip install -e .[torch,metrics]如果依赖冲突导致安装失败用pip install --no-deps -e .跳过依赖解析再单独补装。装完确认版本llamafactory-cli version看到版本号输出就说明环境通了。接着启动 WebUIllamafactory-cli webui浏览器打开它提示的地址你会看到训练、评估与预测、对话、导出四个板块。下面我给出的是可以直接落到配置文件里的骨架比在网页上点更利于复现。3.2 数据格式与 dataset_info 注册医疗问答数据整理成 Alpaca 格式每条包含 instruction、input、output 三个字段。把整理好的 JSON 放到data/目录下然后在data/dataset_info.json里注册alpaca_medical_qa: { file_name: alpaca_medical_qa.json, columns: { prompt: instruction, query: input, response: output } }columns这段是关键它告诉 LLaMA-Factory 你的字段名和它内部期望的字段怎么对应。很多人数据传上去了但训练报“找不到 response 字段”就是这里没配。3.3 QLoRA 训练配置骨架下面这份train_medical.yaml是我实测能跑通的骨架针对 0.6B 模型和单卡 3080 级别显存model_name_or_path: Qwen/Qwen3-0.6B-Instruct stage: sft do_train: true finetuning_type: lora lora_target: all lora_rank: 8 lora_alpha: 16 lora_dropout: 0.05 quantization_bit: 4 quantization_method: bnb dataset: alpaca_medical_qa template: qwen cutoff_len: 1024 max_samples: 5000 overwrite_cache: true preprocessing_num_workers: 8 output_dir: saves/qwen3-0.6b-medical/lora logging_steps: 10 save_steps: 200 plot_loss: true overwrite_output_dir: true per_device_train_batch_size: 2 gradient_accumulation_steps: 8 learning_rate: 5.0e-5 num_train_epochs: 3.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true val_size: 0.1 per_device_eval_batch_size: 2 eval_strategy: steps eval_steps: 100几个参数的实际含义我按踩过的坑说quantization_bit: 4是 QLoRA 的核心把基座模型量化到 4-bit显存占用直接砍到原来的四分之一左右lora_rank: 8对 0.6B 模型够用再大容易过拟合gradient_accumulation_steps: 8配合per_device_train_batch_size: 2实际批次是 16小显存下靠它把有效批次撑起来cutoff_len: 1024对医疗问答足够太长会浪费显存。启动训练llamafactory-cli train train_medical.yaml训练过程中终端会打印 loss同时output_dir下会生成trainer_log.jsonl和 loss 曲线图。loss 从 2 以上降到 1 以下通常说明模型已经学到了数据里的回答模式。3.4 导出合并后的模型LoRA 训练产出的是适配器推理时要么加载适配器要么合并成完整权重。导出命令llamafactory-cli export \ --model_name_or_path Qwen/Qwen3-0.6B-Instruct \ --adapter_name_or_path saves/qwen3-0.6b-medical/lora \ --template qwen \ --finetuning_type lora \ --export_dir models/qwen3-0.6b-medical-merged \ --export_size 2 \ --export_legacy_format false导出后models/qwen3-0.6b-medical-merged就是一个可以独立加载的模型目录。4. 验证请求与成功结果4.1 本地推理验证微调效果先用 LLaMA-Factory 自带的对话接口验证确认模型确实学到了医疗问答的说话方式llamafactory-cli chat \ --model_name_or_path models/qwen3-0.6b-medical-merged \ --template qwen进入对话后问两个问题。第一个“太阳穴两边都痛手脚无力持续三天了怎么办”微调后的模型应该会追问是否发烧、睡眠和压力情况并给出分诊建议而不是只说“多休息”。第二个“高血压患者饮食注意什么”回答里应该出现低盐、每日盐摄入控制、多吃蔬果、戒烟限酒这些具体点。如果回答明显比基座模型更贴题说明微调生效了。4.2 通过 TaoToken 统一通道调用本地验证通过后把模型接到统一 API 通道。如果你是把模型部署成 OpenAI 兼容服务或者直接用 TaoToken 上已有的模型做对比配置方式一致。先设置环境变量export TAOTOKEN_API_KEY你的Key export TAOTOKEN_BASE_URLhttps://taotoken.net/api然后用 Python 发一个请求验证通道是否通import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) resp client.chat.completions.create( modelqwen3-0.6b-instruct, messages[ {role: system, content: 你是一个专业的医疗问答助手回答要具体、分诊清晰。}, {role: user, content: 感冒了应该怎么办}, ], temperature0.3, ) print(resp.choices[0].message.content)能打印出回答说明 Key、base_url、模型名三者都对上了。temperature设 0.3 是为了让医疗回答更稳定减少随机发挥。4.3 在 LLaMA-Factory 里配置统一通道如果你想让 LLaMA-Factory 的评估与预测板块也走 TaoToken可以在settings.json里加一段{ taotoken: { api_key: 你的Key, base_url: https://taotoken.net/api, model: qwen3-0.6b-instruct } }对应的config.toml片段[inference.taotoken] api_key 你的Key base_url https://taotoken.net/api model qwen3-0.6b-instruct temperature 0.3 max_tokens 1024这样你在做模型对比时微调模型和基座模型可以走同一个通道只改model字段省去反复切换 SDK 的麻烦。5. 本篇常见错排查5.1 训练报 “dataset not found”现象是启动训练后立刻退出日志里提示找不到数据集。原因通常是dataset_info.json里的键名和 yaml 里dataset字段不一致或者 JSON 文件没放在data/目录下。检查两点data/dataset_info.json里注册的键名是不是alpaca_medical_qa以及data/alpaca_medical_qa.json是否存在。改完重启训练即可。5.2 显存不足 OOM如果报 CUDA out of memory按顺序调这三个先把per_device_train_batch_size降到 1再把cutoff_len从 1024 降到 512最后把lora_rank从 8 降到 4。QLoRA 本身已经很省显存0.6B 模型在 3080 上正常不会 OOM出现这个问题多半是cutoff_len设太大或者数据里有超长样本。5.3 loss 不下降或震荡loss 一直卡在 2 以上不降先看数据质量output 字段是不是有大量空值或重复。再看学习率5e-5 对 0.6B 模型偏大时可以降到 2e-5。如果 loss 上下剧烈震荡把gradient_accumulation_steps调大让有效批次更稳。我试过把warmup_ratio从 0.1 提到 0.2前期震荡会明显缓解。5.4 调用返回 401 或 404401 是 Key 不对或没带上检查环境变量TAOTOKEN_API_KEY是否真的导出成功可以用echo $TAOTOKEN_API_KEY确认。404 通常是 base_url 写错了注意是https://taotoken.net/api不要多加/v1也不要少写。模型名写错也会返回类似“model not found”的提示对照文档里的模型标识填。5.5 微调后回答变差如果微调后模型在通用问题上反而不如基座模型说明训练轮数太多导致过拟合。把num_train_epochs从 3 降到 2或者把max_samples从 5000 降到 2000让模型只学医疗领域的表达方式不覆盖掉通用能力。医疗场景数据量不大时1 到 2 轮往往就够。6. 把微调助手接进你的工作流训练和验证跑通之后你手里有一个能回答医疗问题的模型以及一套统一的调用通道。接下来最实际的动作是把 TaoToken 的 Key 和 base_url 填进你常用的工具里。如果你用 Cursor 或类似的编码工具做辅助开发接入文档里有对应的配置说明地址是 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。需要管理多个 Key 做额度隔离时去 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 创建。长期做编码类或 Agent 类调用的话Coding Plan 页面 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 有对应的方案说明。只是想快速试模型对话效果直接开 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite 就能用。最后留一个我实际用下来觉得省事的做法把train_medical.yaml和settings.json一起放进项目仓库Key 用环境变量注入。这样换机器、换同事接手克隆下来配好环境变量就能复现整条链路不用再回忆当时点了哪些参数。