人工智能大模型多模态【免费下载链接】DeepSeek-V4.1-FlashDeepSeek-V4.1-Flash 是一个多模态混合专家MoE模型拥有 5520 亿骨干参数并支持最多一百万 token 的上下文长度。该模型原生支持图像和文本输入并以自回归方式生成文本项目地址https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4.1-Flash点击查看免费下载DeepSeek-V4.1-Flash 是 DeepSeek 推出的多模态混合专家MoE模型拥有 552B 骨干参数原生支持图像与文本输入、自回归文本生成并支持最长 100 万 token 的上下文。本文以仓库根目录 README.md 为主线结合 config.json、inference/config.json 与 encoding/encoding.py 等源码系统讲解其核心架构CED、SWA Bounded Replay、CSA2、评估结果、Prompt 编码规范、最小推理部署流程以及 DeepSWE 评测复现步骤帮助读者掌握从模型原理到本地运行与评测的完整实战路径。图 1(a) DeepSeek-V4.1-Flash 与竞品在 agentic 基准上的表现(b) 各代 DeepSeek 模型的每 token 全局 KV Cache 大小字节DeepSeek-V4.1-Flash 相比 DeepSeek-V4-Flash 与 DeepSeek-V1 分别缩减约 4 倍与 437 倍。一、模型概览与核心设计目标DeepSeek-V4.1-Flash 是一款多模态 MoE 模型具备以下关键能力552B 骨干参数支持最长100 万 token1M的上下文原生处理图像与文本输入并以自回归方式生成文本每个 MoE 层包含1 个共享专家 384 个路由专家每个 token 激活 6 个路由专家。模型的核心设计目标高度聚焦于KV Cache 压缩这也是论文标题《Pushing the Limits of KV Cache Compression》的主题。README 给出了两个关键压缩指标指标数值对比对象持久化 KV Cache 占用约1/8DeepSeek-V4-Flash全局 KV Cache 占用890 字节/token约1/4DeepSeek-V4-Flash后续的架构设计CED、SWA Bounded Replay、CSA2、FP4 KV 缓存都是围绕这两组数字展开的。二、架构解析从 CED 到 KV Cache 压缩2.1 Causal Encoder-DecoderCEDDeepSeek-V4.1-Flash 采用CEDCausal Encoder-Decoder架构一个 40 层 Transformer 被组织为20 层因果编码器 20 层解码器。关键机制在于解码器的全局 KV Cache 由最终编码器隐藏状态投影而来而非由各解码器层自身的隐藏状态产生。这一设计带来的直接收益是推理成本的大幅下降Prefill 阶段每 token 仅激活8B 参数Decode 阶段每 token 激活16B 参数。对于输入密集型的 agentic智能体工作负载这显著改善了成本效率。2.2 SWA Bounded ReplaySSD 免持久化方案滑窗注意力SWA的 KV 状态传统上需要持久化甚至落盘 SSD。DeepSeek-V4.1-Flash 的SWA Bounded Replay机制通过仅回放最近 n_win 个 token来重建缺失的 SWA KV 状态从而避免将 SWA KV 持久化到 SSD将持久化 KV Cache 占用缩减至 DeepSeek-V4-Flash 的约 1/8。2.3 Compressed Sparse Attention 2CSA2CSA2 是压缩 KV Cache 的核心组件其要点包括三种静态模式每个注意力层被分配为Full全量、Reindex重索引、Reuse复用三种静态模式之一跨层共享各层共享主 KV 与 indexer K并复用 Top-K 稀疏注意力索引分层稀疏索引器Hierarchical Sparse Indexer解码器中后续索引层被限制在第一个 Full 模式层构建的候选池内进行检索从而将深层索引器成本与上下文长度解耦FP4 主 KV 缓存采用E2M1 格式存储主 KV每 16 个通道配一个E4M3 缩放因子。这些设计叠加后全局 KV Cache 占用降至890 字节/token。2.4 其他架构组件Single-Pass mHC修正残差流混合使用高效的 Mega-mHC 内核实现残差流混合的修订Engram 条件记忆196B 参数通过基于 token 的查找稀疏访问提供长程记忆能力DSpark 投机解码半自回归草稿生成 置信度调度的验证机制加速解码。2.5 多模态架构视觉侧由两部分构成DeepSeek-ViT 视觉编码器从零训练使用2D-RoPE位置编码与3×3 pixel-unshuffle 下采样两层 MLP 投影器将图像转换为视觉嵌入。视觉嵌入从语言模型预训练开始就与文本嵌入联合处理实现了真正的原生多模态。三、配置文件深度解读模型超参数全景仓库根目录 config.jsonHugging Face 格式与 inference/config.json运行时格式完整刻画了上述架构的数值化配置下面按模块逐一解读。3.1 文本骨干配置配置项值说明hidden_size5120隐藏维度num_hidden_layers40总层数20 编码器 20 解码器num_attention_heads64注意力头数num_key_value_heads1KV 头数投影式共享head_dim512注意力头维度qk_rope_head_dim64QK RoPE 子维度q_lora_rank/o_lora_rank1280 / 1024Q/O LoRA 秩o_groups8O 投影分组数sliding_window128滑窗大小即 n_winmax_position_embeddings10485761M token 上下文上限位置编码方面rope_scaling采用YaRN方案factor16、beta_fast32、beta_slow1、original_max_position_embeddings65536即在 64K 序列长度上预训练后外推至 1M。3.2 MoE 路由配置配置项值说明n_routed_experts384路由专家数n_shared_experts1共享专家数num_experts_per_tok6每 token 激活路由专家数scoring_funcsqrtsoftplus路由打分函数topk_methodnoaux_tc无辅助损失的 top-k 路由routed_scaling_factor1.5路由缩放因子3.3 CSA2 与稀疏索引配置KV Cache 压缩的直接体现compress_ratios是一个长度为 4340 层 3 个 MTP 层的数组前 2 层为0Full 模式、中间 20 层为2、随后 18 层为1、最后 3 层为0。这与 CSA2 的 Full / Reindex / Reuse 静态模式分配一一对应配合compress_rope_theta160000使用独立的压缩位置编码。配置项值说明kv_source_layer_ids[2, 8, 14, 20]主 KV 的来源层index_source_layer_ids[2, 8, 14, 20, 24, 28, 32, 36]索引器 K 的来源层index_n_heads/index_head_dim32 / 128索引器头配置index_topk512稀疏注意力 Top-K 数candidate_source_layer_id20候选池来源层第一个 Full 层candidate_topk_blocks2048候选块数candidate_block_size8候选块大小3.4 Hyper-ConnectionsmHC配置项值说明hc_mult4残差流混合倍数hc_sinkhorn_iters20Sinkhorn 归一化迭代次数hc_eps1e-06数值稳定性 epsilon3.5 Engram 条件记忆配置项值说明engram_layer_ids[1, 14]启用 Engram 的层engram_num_embeddings[384006168, 384016682]两层记忆表规模engram_max_ngram_size4n-gram 最大阶数engram_vocab_size16000000Engram 词表大小engram_n_heads/engram_head_dim8 / 256记忆注意力头配置engram_compressed_vocab_size99092压缩词表大小3.6 DSpark 投机解码配置项值说明dspark_block_size5草稿块大小dspark_noise_token_id128799噪声 token IDdspark_target_layer_ids[37, 38, 39]目标层对应num_nextn_predict_layers3dspark_markov_rank256Markov 秩dspark_n_routed_experts128草稿网络路由专家数dspark_num_experts_per_tok3草稿网络每 token 激活专家数3.7 视觉编码器与量化配置视觉侧vision_config32 层、隐藏维度 1024、16 头、patch_size14、downsample_ratio3对应 3×3 pixel-unshuffle、max_image_tokens1024、min_pixels295936。量化侧quantization_config采用FP8 动态量化weight_block_size[32,32]、scale_fmtue8m0且专家权重使用 FP4expert_dtypefp4——这正是 FP4 主 KV 缓存的底层支撑。运行时 inference/config.json 中对应dtype: fp8、expert_dtype: fp4。四、预训练与后训练预训练DeepSeek-V4.1-Flash 在一个包含45T token的多模态语料上从零训练。稀疏注意力在64K 序列长度下训练并在34T token处将上下文扩展至 1M。后训练采用标准的SFT → RL → 在线策略蒸馏OPD范式未做算法层面的修改实质变化集中在数据管线大规模自动化合成 agent 任务与环境并逐步扩展数据、任务与 rollout 规模。可控推理努力度reasoning effort模型支持1–100 的整数推理努力度设置通过调节该值可在推理成本与准确性之间做连续权衡。这一特性在 Prompt 编码中有着直接体现见下一节。五、评估结果一览5.1 Base 模型评估所有 base 模型在官方内部框架、相同评估设置下评测得分相差 0.3 以内视为等价。完整结果如下Benchmark (Metric)# ShotsDeepSeek-V4-Flash-BaseDeepSeek-V4-Pro-BaseDeepSeek-V4.1-Flash-BaseArchitecture—MoEMoEMoE# Backbone Params—284B1.6T552B# Activated Params—13B49B8B / 16BWorld KnowledgeAGIEval (EM)3–5-shot83.984.483.4MMLU-Pro (EM)5-shot68.373.574.1C-Eval (EM)5-shot92.193.192.1MultiLoKo (LLM-Judge)5-shot42.650.945.5SimpleQA-Verified (EM)25-shot30.155.242.3SuperGPQA (EM)5-shot46.553.953.1Language ReasoningBBH (EM)3-shot86.987.586.1BBEH (EM)1-shot25.429.827.2DROP (F1)1-shot88.688.787.9HellaSwag (EM)0-shot85.788.087.2Code MathBigCodeBench (Pass1)3-shot56.859.260.6HumanEval (Pass1)0-shot69.576.879.4GSM8K (EM)8-shot90.892.693.0MATH (EM)4-shot57.464.561.1MGSM (EM)8-shot85.784.480.2Long ContextLongBench-V2 (EM)1-shot44.751.545.2MultimodalMMMU-Pro (EM)4-shot——56.5CVBench (EM)4-shot——77.9DocVQA (LLM-Judge)4-shot——95.6RefCOCO-avg (Acc0.5)0-shot——86.0可以看到DeepSeek-V4.1-Flash-Base 在 MMLU-Pro74.1、BigCodeBench60.6、HumanEval79.4、GSM8K93.0等代码与数学基准上取得了三者中的最佳成绩同时仅激活 8B/16B 参数。5.2 Instruct 模型评估最大推理努力度所有 instruct 结果使用reasoning_effort100与temperature1.0, top_p0.95。代码 agent 基准Terminal-Bench 2.1/3.0/4.0、DeepSWE v1.1、NL2Repo-Bench、ProgramBench使用 DeepSeek Harness 的 Minimal 模式与 1M token 上下文窗口DeepSWE v1.1 使用 mini-SWE harnessSEC-Bench Pro 使用 Claude Code harness视觉 agent 基准Chartography、BabyVision、ZeroBench使用 Claude Code harness 与 512k 上下文窗口Agents Last Exam 与 AutomationBench 使用官方脚手架。部分代表性结果Benchmark (Metric)Opus-5.0GPT-5.6 SolK3GLM-5.3DS-V4-ProDS-V4-FlashDS-V4.1-FlashGPQA Diamond (Pass1)93.494.192.988.192.489.990.9HLE (Pass1)56.344.543.542.0†42.7†37.8†36.8 (39.1†)Codeforces (Rating)————334832893471Terminal-Bench 2.1 (Pass1)89.188.888.388.287.982.790.6DeepSWE v1.1 (Resolved)74.073.067.566.962.754.474.2CyberGym (Pass1)—84.580.084.583.376.788.1HLE w/ tools (Pass1)63.6—59.862.560.051.563.9AutomationBench (Pass1)50.345.846.748.843.237.754.8Agents Last Exam (Pass1)28.626.727.628.525.725.231.8† 表示 HLE 的纯文本子集。在 agentic 方向上DeepSeek-V4.1-Flash 在 Terminal-Bench 2.190.6、DeepSWE v1.174.2、CyberGym88.1、HLE w/ tools63.9、AutomationBench54.8、Agents Last Exam31.8上取得最高分。此外README 还给出了跨 agent 脚手架Claude Code、Codex、OpenCode、Pi、mini-SWE、DSH Minimal/Standard/PTC的 DeepSWE v1.1 与 Terminal-Bench 2.1 对比数据N8/N3 采样、Linux 容器、temperature1.0、top_p0.95、1M 上下文、max_steps500其中 DSH Minimal 脚手架在 Terminal-Bench 2.1 上达到 90.6。六、Prompt 编码V4.1 的对话格式规范本仓库未随附 Jinja 格式的 chat template。Prompt 编码规范由 encoding/README.md 与自包含参考实现 encoding/encoding.py 提供支持多轮对话、工具调用、思考模式、数值推理努力度、会话中系统消息以及交错图像内容。6.1 V4 相比 V4.1 的三处格式变更DSML 标签名带前导空格工具调用被包裹在 赞分享人工智能大模型多模态【免费下载链接】DeepSeek-V4.1-FlashDeepSeek-V4.1-Flash 是一个多模态混合专家MoE模型拥有 5520 亿骨干参数并支持最多一百万 token 的上下文长度。该模型原生支持图像和文本输入并以自回归方式生成文本项目地址https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4.1-Flash点击查看免费下载相关推荐DeepSeek-V4.1-Flash 昇腾950 CANN 推理优化实践共享压缩 KV、FP4/FP8 混合精度与 Engram 记忆的端到端落地DeepSeek V4.1 Flash 昇腾950 CANN 推理优化实践共享压缩 KV、FP4/FP8 混合精度与 Engram 记忆的端到端落地 Deep示例工程人工智能大模型模型推理服务模型优化模型量化CANNAscendLMCache KV Cache 压缩与解压缩实战通过 Controller 对 KV Cache 执行 CacheGen 压缩LMCache KV Cache 压缩与解压缩实战通过 Controller 对 KV Cache 执行 CacheGen 压缩 导读 本篇技术指南完整讲解人工智能大模型缓存抽象模型推理服务Steam Deck插件加载器decky-loader故障排查指南从界面空白到恢复运行一次讲透Steam Deck插件加载器decky loader故障排查指南从界面空白到恢复运行一次讲透 如果有一台刚拿到手的Steam Deck你兴冲冲地在dec后端前端插件系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考