Fairseq 命令行工具全解析从数据预处理到模型训练、生成与评估的完整实战指南【免费下载链接】fairseqFacebook AI Research Sequence-to-Sequence Toolkit written in Python.项目地址: https://gitcode.com/gh_mirrors/fa/fairseq导读fairseq 是 Facebook AI Research 开源的序列到序列Sequence-to-Sequence工具包其核心使用方式并非调用 Python API而是通过一组精心设计的命令行工具完成数据预处理 → 模型训练 → 翻译生成 → 指标评估的完整工作流。本文以 docs/command_line_tools.rst 为主线系统讲解fairseq-preprocess、fairseq-train、fairseq-generate、fairseq-interactive、fairseq-score与fairseq-eval-lm六大工具的功能定位、参数含义与底层实现并结合 fairseq_cli/ 目录下的源码与 docs/getting_started.rst 中的实战示例帮助你掌握 fairseq 从原始文本到评估结果的全链路操作能力。工具全景一条流水线上的六个环节fairseq 把常见的深度学习实验流程拆解为六个可独立调用的命令行程序。根据 docs/command_line_tools.rst 的官方描述它们的职责分别是工具功能定位fairseq-preprocess数据预处理构建词表vocabulary并将训练数据二值化binarizefairseq-train在单卡或多卡 GPU 上训练新模型fairseq-generate用训练好的模型翻译已预处理二值化的数据fairseq-interactive用训练好的模型翻译原始文本实时交互fairseq-score对生成的译文与参考译文进行 BLEU 评分fairseq-eval-lm语言模型困惑度perplexity评估这六个工具对应 fairseq_cli/ 目录下六个同名模块preprocess.py、train.py、generate.py、interactive.py、score.py、eval_lm.py并通过 setup.py 中的entry_points注册为全局可用的控制台命令fairseq-eval-lm fairseq_cli.eval_lm:cli_main, fairseq-generate fairseq_cli.generate:cli_main, fairseq-interactive fairseq_cli.interactive:cli_main, fairseq-preprocess fairseq_cli.preprocess:cli_main, fairseq-score fairseq_cli.score:cli_main, fairseq-train fairseq_cli.train:cli_main,每个模块的入口都是cli_main()函数先从 fairseq/options.py 中获取对应的 argparse 解析器如get_preprocessing_parser、get_training_parser、get_generation_parser、get_interactive_generation_parser、get_eval_lm_parser解析命令行参数后调用main()执行实际逻辑。fairseq-score较为特殊其解析器直接定义在 fairseq_cli/score.py 的get_parser()中。下文按数据流顺序逐一深入。fairseq-preprocess构建词表并二值化训练数据fairseq-preprocess是整个流程的起点。它以语言前缀 文件前缀的方式定位输入文件为源语言和目标语言分别构建词表并将文本数据转换为训练可直接读取的二值化格式。典型用法以 docs/getting_started.rst 中 IWSLT 2014德英数据集为例TEXTexamples/translation/iwslt14.tokenized.de-en fairseq-preprocess --source-lang de --target-lang en \ --trainpref $TEXT/train --validpref $TEXT/valid --testpref $TEXT/test \ --destdir>mkdir -p checkpoints/fconv CUDA_VISIBLE_DEVICES0 fairseq-train>fairseq-generate>MODEL_DIRwmt14.en-fr.fconv-py fairseq-interactive \ --path $MODEL_DIR/model.pt $MODEL_DIR \ --beam 5 --source-lang en --target-lang fr \ --tokenizer moses \ --bpe subword_nmt --bpe-codes $MODEL_DIR/bpecodes启动后进入交互模式提示Type the input sentence and press return:。输入句子后工具会自动套用指定的 tokenizer 与 BPE 编码翻译完成后输出S-0 Why is it rare to discover new marine mam mal species ? H-0 -0.0643349438905716 Pourquoi est-il rare de découvrir de nouvelles espèces de mammifères marins? P-0 -0.0763 -0.1849 -0.0956 -0.0946 -0.0735 -0.1150 -0.1301 -0.0042 -0.0321 -0.0171 -0.0052 -0.0062 -0.0015关键参数与特性参数含义--input输入文件路径-表示标准输入配合管道批量翻译--buffer-size输入缓冲条数控制动态成批的大小默认 1--batch-size不能大于它--tokenizer/--bpe输入侧分词器与 BPE 编码器如moses、subword_nmt与--bpe-codes配合--constraints启用约束解码输入行内用 Tab 分隔多个目标词约束要求源/目标共享子词词表--path检查点路径同样支持 ensemble从 fairseq_cli/interactive.py 的实现看其工作流为buffered_read按--buffer-size读入原始行 →make_batches中先经encode_fntokenizer BPE编码、必要时解析 Tab 分隔的约束并pack_constraints打包成张量 →task.build_dataset_for_inference构建推理数据集 → 动态分批后逐个 batch 调task.inference_step→ 最后按输入顺序sorted(results, keylambda x: x[0])输出保证结果顺序与输入一致输出前缀格式与fairseq-generate相同S-、H-、D-、P-、A-另外约束行以C-id前缀打印。fairseq-score生成译文与参考译文的 BLEU 评分fairseq-score是一个轻量独立的 BLEU 评测工具参数解析器直接定义在 fairseq_cli/score.py 中不依赖 fairseq 的任务体系。参数一览参数含义默认值-s, --sys系统输出文件模型译文-表示标准输入--r, --ref参考译文文件必填-o, --order考虑的 n-gram 最高阶数4--ignore-case大小写不敏感评分关闭--sacrebleu使用 sacreBLEU 计算标准 13a 分词关闭--sentence-bleu逐句报告 BLEU带 1 平滑格式为句号 [分数]关闭典型用法fairseq-generate>fairseq-eval-lm># 1) 准备数据示例脚本见 examples/translation/prepare-iwslt14.sh bash examples/translation/prepare-iwslt14.sh # 2) 预处理构建词表 二值化 fairseq-preprocess --source-lang de --target-lang en \ --trainpref examples/translation/iwslt14.tokenized.de-en/train \ --validpref examples/translation/iwslt14.tokenized.de-en/valid \ --testpref examples/translation/iwslt14.tokenized.de-en/test \ --destdir contenteditable="false">【免费下载链接】fairseqFacebook AI Research Sequence-to-Sequence Toolkit written in Python.项目地址: https://gitcode.com/gh_mirrors/fa/fairseq创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考