如何用 Spirula Studio 视频跟踪遮罩让目标贯穿整段视频内存银行实战指南【免费下载链接】spirula-studioCross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.项目地址: https://gitcode.com/GitHub_Trending/sp/spirula-studioSpirula StudioSpirula Splat是一款跨显卡厂商的 3D 高斯泼溅训练器支持视频 → 泼溅 → 网格的完整流程可运行在 Vulkan 或 CUDA 后端。其中的视频跟踪遮罩功能基于 SAM 2 / SAM 2.1 / SAM 3 模型核心机制是一个常驻显存的内存银行memory bank只要你在某几帧上点一下目标它就能靠记忆把同一目标贯穿整段视频逐帧产出稳定的遮罩为后续重建和训练做准备。为什么逐帧分割不行而内存银行行 对视频逐帧跑分割就像让一个新员工每帧都重新认识一次目标——每帧都要重新做完整的目标检测既慢又不稳定目标一旦短暂被遮挡或检测漏掉下一帧就断片了。Spirula Studio 的做法是引入每实例独立的内存银行见 src/sam/pipeline/Tracker.cpp每个跟踪中的对象masklet拥有自己的一组显存槽位最多保存7 帧的空间记忆滑动窗口新帧的遮罩特征经记忆编码器压缩后存入银行最旧的先被挤出银行常驻显存、跨帧复用后续帧做记忆注意力时直接读取无需任何逐帧重算当目标在某帧不可见遮挡时银行会写入一个学习到的无目标嵌入让记忆表达它不在这里而不是拿一个过期的旧遮罩去误导下一帧。这正是内存银行的价值所在它是一项保真特性而不是速度特性——检测器漏掉一帧时正是银行把实例扛了过重建中丢失一个物体一帧的代价远大于省下的那 20% 时间。三个关键机制一句话说清机制作用可调项滑动窗口记忆每个对象保存最近 7 帧遮罩特征最旧先淘汰用户点击的条件帧优先保留--memory-frames n传播→检测→关联循环先靠银行传播再周期性跑检测器校正两帧之间目标完全由记忆承载--detect-every n确认与淘汰新遮罩需存活约 15 帧才确认防误检连续约 30 帧不可见才放弃防误杀hotstart_delay/max_keep_alive参数定义与默认值都在 src/sam/Sam.h 的VideoParams里注释写得很直白detect_every就是每隔 N 帧才跑一次检测器中间交给内存银行。快速上手两条命令开始跟踪在 Vulkan 后端构建下CLI 直接可用权重在运行时会按许可策略下载缓存仓库不内置# 文本提示跟踪person 和 car 各建一条独立轨迹 spirula sam track --model sam3-q4_0.ggml --frames frames/ --out masks/ --text person; car # 点击提示跟踪SAM 2 检查点只有点击/框提示没有文本塔 spirula sam track --model sam2.1_hiera_tiny_f16.ggml --frames frames/ --out masks/ \ --point 640,360 --point 700,300 --at-frame 90两个值得知道的细节每个词是独立目标people; cars会为每个短语建立一个 Tracker各自的内存银行槽位键互不干扰最后遮罩取并集点击属于它所在的那一帧在帧 90 上的点击是对该帧轨迹的校正——Tracker 会用refineInstance替换条件记忆让修正粘住而不是只在当帧生效。性能调优用--memory-frames换速度 ⚡SAM 2 的跟踪耗时主要花在记忆注意力上且与银行帧数近似线性相关。官方实测RTX 5070 LaptopHiera-T1920×1080 单实例 32 帧配置ms/帧含解码与 PNG 写出默认内存帧数7246--memory-frames 4203--memory-frames 1138换句话说把记忆从 7 帧砍到 1 帧能省约 44% 时间——但记忆变短目标被遮挡时的续航也随之变差。多数场景建议保持默认只在帧数很多时尝试降档。更大的杠杆其实是检查点本身SAM 2.1 比 SAM 3 快 3–4 倍而 Tiny / Small 档位的差距很小差距主要来自主干之外的记忆注意力。遮罩之后的下一步 ️视频跟踪写出的遮罩落在数据集的masks/目录约定 255 保留默认策略是提示到的物体被抠掉、其余保留可用keep_prompted翻转。如果发现个别帧不理想GUI 里点击Correct Masks打开遮罩校正编辑器支持 SAM 点击、形状、笔刷等工具逐帧修复修正保存在mask_edits/下重跑遮罩时会自动重新应用——详见 docs/notes/mask-editor.md播放幻灯片5–30 fps快速扫一遍全部帧坏帧会一目了然鱼眼边框、水印、时间戳这类画面固定物不属于分割任务应交给帧级模板遮罩src/app/FrameMask.h命令为spirula sam mask --shape。小结Spirula Studio 的视频跟踪遮罩把目标贯穿整段视频做成了三件事每对象一条显存里的滑动窗口记忆、检测器只负责校正、传播交给记忆。文本或点击两种提示方式都走同一条策略层预览即所得遮罩可直接进入 3D 高斯泼溅训练流程。更多架构与实测细节可阅读 src/sam/README.md。【免费下载链接】spirula-studioCross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.项目地址: https://gitcode.com/GitHub_Trending/sp/spirula-studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考