Strata 一键安装教程Windows下3步跑通125B MoE本地大模型START-HERE.bat详解【免费下载链接】StrataQwen3.8-Flash-Next (125B MoE) on a 8GB NVIDIA GPU: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata想在普通游戏电脑上运行 1250 亿参数的 MoE 大模型Strata 做到了通过START-HERE.bat 一键安装无需手动配环境在 8GB 以上显存的 NVIDIA 显卡上跑起 Qwen3.8-Flash-Next 125B MoE 本地大模型出字速度可达 60-95 tokens/秒比你能阅读的速度还快。本文用 3 个步骤带你完成 Windows 安装。为什么需要 Strata这类超大模型通常需要带数百 GB 显存的服务器才能运行而 Strata 推理引擎把工作分摊到整台 PC显卡负责每步计算并缓存最常用的专家内存RAM保存全部 24,576 个专家CPU 与 GPU 并行工作SSD保存大查找表每个 token 只读取其中几行。配合先猜后验Speculative Decoding机制质量不变的前提下响应快 1.6-1.8 倍。完整原理见 docs/DETAILS.md。安装前的硬件要求清单 项目要求显卡NVIDIA RTX 30/40/50 系列8GB 显存起步12-24GB 更佳内存48-64 GB取决于所选模型尺寸硬盘约 80 GB 可用空间SSD 强烈推荐系统Windows 10/11或 Linux驱动最新版 NVIDIA 驱动唯一需要你手动安装的模型尺寸怎么选不确定就选IQ2_XS推荐主要写代码或只有 32-48GB 内存选Coder (IQ1_M)追求最佳质量且内存充足选IQ3_S。各尺寸的内存占用与速度对比见 README.md。3 步安装Windows 下跑通本地大模型第 1 步获取项目代码 打开命令行克隆仓库git clone https://gitcode.com/gh_mirrors/strata11/Strata也可以下载压缩包解压效果相同。第 2 步双击 START-HERE.bat 进入项目目录双击START-HERE.bat——这是整个安装流程的入口。这个脚本非常聪明首次运行自动安装一切并启动模型再次运行直接启动不会重复下载任何东西。它会自动完成这些工作源码详见 setup.py检查 NVIDIA 显卡、驱动、内存、CPU 与磁盘空间如果没有 Python 3.10自动为用户账户安装 Python 3.12无需管理员权限在项目内创建独立的.venv虚拟环境不污染系统 Python下载预编译的 Strata 推理引擎无需自己编译从 Hugging Face 下载约 70 GB 的模型文件支持断点续传生成启动脚本并启动模型。第 3 步回答 4 个问题 ✅首次运行时只需回答 4 个问题每次直接按 Enter 就选推荐项问题说明选哪个模型原版 Qwen3.8-Flash-Next / Swift 1.5 / Coder多大上下文模型一次能记住多少文本会按你的显卡给出建议要不要读图片开启后模型支持图像输入可选实验性速度投影默认关闭不建议新手开启下载完成后浏览器会自动打开http://127.0.0.1:8080的 Strata 应用包含Chat聊天、Monitor实时监控模型和 GPU/CPU/内存、About设置与 API 地址三个页面。⚠️注意模型启动时 PC 可能卡顿 1-3 分钟首次最久因为 Strata 要把 35-55 GB 数据载入内存——这是正常现象等待即可不要关闭窗口。装好后怎么用浏览器http://127.0.0.1:8080打开就能聊终端聊天运行.venv\Scripts\python chat.py接入你自己的应用作为 OpenAI 兼容接口base URL 填http://127.0.0.1:8080/v1Anthropic 风格接口用http://127.0.0.1:8080/v1/messages手机/局域网访问START-HERE.bat --setup --host 0.0.0.0 --api-key 密钥。想加第二个模型或改设置双击 SETUP.bat 即可等价于START-HERE.bat --setup已下载的内容不会重复下载。常见问题快速排查 ️症状原因与解决首次启动卡死/鼠标冻结正常现象等待 1-3 分钟超 10 分钟则重启电脑、关闭浏览器等占内存程序下载中断了再次运行 START-HERE.bat自动续传提示 NVIDIA 驱动太旧更新驱动需 580 以上版本重启后再运行提示 8080 端口被占用Strata 已在运行找到它的窗口即可很慢且硬盘灯狂闪内存不足关闭其他程序或换更小的模型尺寸Q2_0/IQ2_XS回答中断引擎意外停止通常是内存不足重发消息即可Strata 会自动重启引擎提示上下文超长开新对话或用 SETUP.bat 加大上下文完整故障排查表见 docs/DETAILS.md仍卡住可查看项目文件夹中的strata-模型名.log日志文件。多张 NVIDIA 显卡直接运行START-HERE.bat它会列出显卡并询问是否跨卡共享模型推荐也可用--gpus 0,2手动指定详见 docs/MULTI_GPU.md。总结 整个安装就 3 步克隆代码 → 双击 START-HERE.bat → 按 Enter 选推荐项。之后每次启动只需再双击一次 START-HERE.bat关闭窗口即停止模型。一台普通游戏 PC 64GB 内存就能拥有 60-95 tokens/s 的 125B MoE 本地大模型——免费、开源、完全离线可用。【免费下载链接】StrataQwen3.8-Flash-Next (125B MoE) on a 8GB NVIDIA GPU: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.项目地址: https://gitcode.com/gh_mirrors/strata11/Strata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考