Jev-Omni核心原理揭秘256维决策头如何让选项概率归一化【免费下载链接】Jev-Omni项目地址: https://ai.gitcode.com/hf_mirrors/akhilaaa3/Jev-OmniJev-Omni 是一个基于 Gemma 4 12B 的多模态决策分类器给它一道问题和一组选项它不会生成解释而是直接返回每个选项的概率且这些概率天然归一化加起来恰好等于 1。这套能力的核心是一个只有三层逻辑的256 维决策头。本文用最少的代码带你快速看懂「状态 → 主干 → 决策头 → 归一化概率」的完整链路。从问题到概率三段式推理链路Jev-Omni 的推理过程可以拆成三步拼接提示词把「场景状态 问题 编号选项」拼成一段文本要求模型只回一个数字编号主干编码Gemma 4 12B IT 多模态主干文本/图像/音频/视频统一输入跑一遍前向钩子捕获最后一个 token 的隐藏状态3840 维向量决策头打分这个向量送入 256 维决策头得到 256 个分数再截断、归一化输出 N 个选项的概率。整个链路的关键代码只有两行见 jev_omni.py 的隐藏状态捕获与 jev_omni.py 的概率计算。256维决策头归一化的三步魔法决策头定义在 jev_omni.py结构小到可以一行说清——但它做对了三件关键的事第一步标准化特征。隐藏状态先减去可学习均值mu、再除以可学习标准差sd相当于给 3840 维特征做一次自适应「调音量」让主干输出的量级稳定后面的打分才可比。第二步一次线性投影到 256 个槽位。self.linear nn.Linear(hidden, 256) # 3840 维 → 256 维无论题目是 2 个选项还是 200 个选项决策头永远输出 256 个分数——每个「槽位」对应一个候选选项。第三步槽位掩码静音多余选项。z.masked_fill(arange(256) counts, -1e30)只用了 N 个选项时第 N 个槽位之后的分数全部被置为-1e30一个趋近负无穷的大负数。softmax 归一化概率如何恰好加和为 1最后一步是标准的 softmaxjev_omni.py每个分数变成e^分数 / Σ e^分数。被掩码的槽位分数是 -1e30e^(-1e30)在浮点世界里就是 0所以它们对分母毫无贡献。效果等价于softmax 只在真正的 N 个选项上进行——于是 N 个概率自动满足每个选项概率 ∈ (0, 1]且 Σ 概率 1 ✅这就是「概率归一化」的全部秘密固定 256 槽位 掩码 softmax一行截断[:len(options)]后任意数量的选项都得到一份合法的概率分布。为什么是固定的256个槽位这个设计换来了三个实际好处选项数量无关2 个选项和 200 个选项共用同一个头无需为每个 N 单独训练或重建数值安全-1e30 掩码保证未用槽位概率严格趋近 0softmax 不会「漏概率」推理零输出分类器只算一次前向、不生成任何 tokenH200 上文本推理约83 ms图片只要26 ms数据见 README.md成本也省掉了输出 token 计费。槽位上限写在 decision_config.jsonoutput_classes: 256官方建议选项不超过 20 个时效果最稳见 README.md。概率校准归一化之外还要「可信」概率加和为 1 只是及格线。对决策系统来说更关键的是校准说 80% 把握时实际就该对 80%。Jev-Omni 在 DecisionBench Medium 上的 ECE期望校准误差越低越好仅为0.0400——它的置信度几乎完全可信配合 30,000 题规模的微调训练配方见 decision_config.jsonJev-Omni 在 DecisionBench Medium 上达到87.57%准确率JevBench 达到86.15%。快速上手体验只需要一段示例代码就能感受输出形态完整可运行版本在 example.pyresult classifier.predict( stateThe meeting starts at 10 AM. It is now 9 AM., questionHas the meeting started?, options[Yes, No], ) # {prediction: No, confidence: ..., probabilities: {Yes: ..., No: ...}}文本、图片、音频、视频都走同一个predict接口换多模态只需加media与modality两个参数。值得翻一翻的核心文件文件内容jev_omni.py256 维决策头_Head256标准化、投影、掩码三件套jev_omni.pypredict推理主流程与概率输出decision_config.json隐藏维度 3840、输出槽位 256、基座模型配置head.pt决策头权重FP32 合并后config.jsonGemma 4 统一多模态主干配置README.md基准成绩与开源模型横向对比一句话总结Jev-Omni 的 256 维决策头用「可学习标准化 固定 256 槽位 -1e30 掩码 softmax」四步组合让任意数量的选项都得到一份加和恰为 1、且高度校准的概率分布——这就是它又快、又准、又可信的核心原理。【免费下载链接】Jev-Omni项目地址: https://ai.gitcode.com/hf_mirrors/akhilaaa3/Jev-Omni创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考