GitHub 上有个公开项目 bring-shrubbery/ml-sharp-web,做了一件很具体的事:把 Apple 的 ml-sharp 模型放到浏览器里跑,用来创建 Gaussian Splats。
网页端不只生成结果,还能预览 splat,做旋转、翻转、位移和重置变换。听起来像“3D 生成工具进浏览器”,但我更在意的是另一个问题:这算实用突破,还是一次漂亮的开发者演示?
我的判断偏后者,但不是贬义。它已经有工程价值,只是还没到普通创作者能放心交付的阶段。
它做成了什么:网页里跑 3DGS 生成闭环
ml-sharp-web 的核心能力很窄,也很清楚:用 Apple 的 ml-sharp 模型创建 Gaussian Splats。
这里要把边界说准。它不是 Apple 官方发布的网页产品,也不是通用 3D 建模软件。材料只能说明,它使用了 Apple 的 ml-sharp 模型,并把相关流程做成了一个 Web playground。
Gaussian Splatting 不是传统网格建模。它用大量带颜色、透明度和空间位置的高斯点来表示对象或场景。优点是渲染快、视觉效果好;限制是它不能直接等同于 CAD 文件,也不能默认当作可投产的游戏资产。
这个项目有意思的地方,是把“生成”和“查看”接在了一起。生成完 splat 后,用户可以在浏览器里调整姿态。仓库提交记录还提到,会把这些姿态信息写入 PLY metadata,供嵌入组件 sharp-splat 读取。
| 能力 | ml-sharp-web 当前做法 | 对使用者的实际影响 |
|---|---|---|
| 模型运行 | 通过 ONNX Runtime Web 在浏览器环境加载 ml-sharp | 前端开发者可以少搭一套后端推理服务,先看流程能不能跑通 |
| 输出结果 | 创建 Gaussian Splats | 适合 3DGS 管线实验,不等于完整网格模型 |
| 前端交互 | 支持预览、旋转、翻转、位移、重置变换 | 生成结果方向不对时,可以先在网页端修正 |
| 嵌入方式 | 姿态信息写入 PLY metadata,供 sharp-splat 读取 | 更方便接到 Web 展示组件里 |
对前端 AI 开发者来说,这已经够有用。可以先把模型加载、推理、预览、组件嵌入串起来,再决定要不要投入更多工程成本。
对 3DGS 创作者来说,它降低的是“试一下”的门槛。以前可能要在本地环境、Python 依赖、模型转换之间折腾。现在至少可以通过网页看一眼结果是否值得继续处理。
但这条线要拉住:它降低了试玩成本,还没有降低交付成本。
真正的坎:模型进了浏览器,包袱还在
这个项目最现实的一点,藏在部署细节里。
提交记录提到,2.4GB 的 .onnx.data sidecar 文件不能直接跟着 Vercel 部署,所以模型文件被放到 Cloudflare R2。项目还用 .vercelignore 避免本地模型文件混入部署包。
这说明浏览器端 AI 的一个老问题没有消失:推理可以前移到用户设备,但模型分发、加载等待、内存压力和兼容性仍要有人买单。
更关键的是,现有材料没有给出生成耗时、CPU/GPU 占用、失败率或浏览器兼容范围。所以不能把它写成一个已经能大规模商用的 Web 3D 生成服务。
把它放到浏览器 AI 的几条路线里看,位置会更清楚。
| 路线 | 常见任务 | 主要门槛 | ml-sharp-web 的差异 |
|---|---|---|---|
| Transformers.js | 文本、语音、小型视觉模型 | 模型大小、端侧性能 | 更偏 3D 生成,模型负担更重 |
| WebLLM | 浏览器内大语言模型 | WebGPU、显存、加载时间 | 同样挑战端侧资源,但任务不是文本生成 |
| 3DGS viewer | 展示已有 splat | 内容来源、格式处理 | 多数只负责看,ml-sharp-web 尝试在网页里生成 |
| ml-sharp-web | 生成并预览 Gaussian Splats | 2.4GB 级模型文件、推理体验、兼容性 | 更接近完整 3DGS Web 工作流雏形 |
这里的分水岭不是“能不能跑”。能跑已经被证明了。
分水岭是三件事:用户等多久、哪些设备能稳定跑、生成结果能不能顺滑进入后续工具。任何一个环节卡住,它都只能停在 playground。
谁该动手,谁该观望
最该动手的是两类人。
一类是前端 AI / ONNX Runtime Web 开发者。这个仓库可以当工程样本看:模型文件如何外部托管,ONNX Runtime Web 怎么接,生成结果怎么预览,姿态变换怎么写回 metadata。
他们的动作可以很具体:先 fork 或本地跑通流程,再评估自己项目里是否需要浏览器端推理。如果团队目标只是展示已有 splat,不一定要上这套生成链路,接一个 3DGS viewer 可能更省。
另一类是 3DGS 工具链开发者。他们可以重点看输入输出和嵌入方式,而不是盯着 star 数判断热度。低样本的 GitHub 指标说明不了行业 adoption,工程接口才更有参考价值。
普通 3D 用户和美术团队,则应该观望。
原因很简单:生产流程不只看能不能生成,还看能不能改、能不能管版本、能不能进现有渲染或游戏管线。Gaussian Splats 本身也不是传统网格资产。要把它拿去交付,还需要质量控制、格式转换和编辑能力。
接下来该看的不是“又出了一个演示”,而是几个硬变量:
- 2.4GB 级模型文件能不能更好地分片、缓存和分发;
- 主流浏览器和常见设备上的运行成功率如何;
- 生成耗时、内存压力和交互卡顿是否能被公开验证;
- splat 结果能否更顺地进入 3D 编辑器、Web viewer 或团队现有管线。
这些变量如果没有改善,ml-sharp-web 的定位就很清楚:它是开发者验证浏览器端 3D 生成流程的入口,不是面向普通创作者的成品工具。
回到开头那个问题。把 Apple 的 ml-sharp 模型搬进浏览器,确实是一步进展。只是“进了浏览器”和“能稳定生产”,中间还隔着模型体积、设备差异和工具链接入这三道门。
