工作流教程

ComfyUI MoGe 使用示例

本指南演示如何在 ComfyUI 中使用 MoGe 进行单目几何估计:公尺度点云、深度图、法线图和网格生成。

ComfyUI MoGe 介绍

MoGe(CVPR 2025,来自微软研究院)是一个强大的单目 3D 几何恢复模型,可以从开放领域的单张图像中恢复 3D 几何信息。它在一个前向推理中同时输出公尺度点云、公尺度深度图、法线图和相机 FOV。

核心能力:

  • 精确的 3D 几何估计:单张图像同时输出点云、深度图和法线图——一个模型,一次推理
  • 公尺度(MoGe-2):点云和深度图使用真实世界尺度
  • 灵活的分辨率支持:支持多种分辨率和宽高比(2:1 到 1:2)
  • 快速推理:A100 / RTX 3090 上约 60ms/张(FP16,ViT-L)
  • 从透视和全景图生成网格

MoGe 提供两个版本:

文件 版本 公尺度 法线图 参数量
moge_1_vitl_fp16 MoGe-1 - - 314M
moge_2_vitl_normal_fp16 MoGe-2 ✅ ✅ 331M

MoGe-2 新增了公尺度支持和高质量法线图估计,视觉细节更清晰,推理延迟更低。推荐使用 MoGe-2 with normal(moge_2_vitl_normal_fp16)。

模型安装

下载 MoGe 检查点并保存到相应的 ComfyUI 文件夹:

text
ComfyUI/
├── models/
│   ├── geometry_estimation/
│   │   ├── moge_2_vitl_normal_fp16.safetensors
│   │   └── moge_1_vitl_fp16.safetensors

工作流示例


1. 深度估计

功能: 输入一张图片,输出公尺度深度图、彩色深度预览和遮罩——即 MoGe 一次推理得到的公尺度深度结果。适合作为场景深度参考用于合成、深度特效,或作为生成网格的前置步骤。

MoGe 还会自动估计图片的相机 FOV,也可以手动输入真实 FOV 以获得更精确的结果。

下载工作流

下载 JSON 或在模板库中搜索 "MoGe Depth Estimation"

下载示例素材

获取本工作流所用的示例输入图片

1.1 运行步骤

  1. 确保 LoadMoGeModel 节点已加载 MoGe 检查点
  2. 在 Load Image 节点中加载一张图片
  3. 点击 Queue 按钮,或使用快捷键 Ctrl(cmd) + Enter 运行
  4. 工作流将输出彩色深度预览、原始深度图和遮罩

2. 透视照片转 3D 网格

功能: 将单张透视照片转换为带纹理的 GLB 网格,同时生成法线和深度预览。MoGe 从可见场景中估计点云、深度和法线,再转换为网格。这是单目几何估计——遮挡区域和物体背面会缺失或出现碎片。适合场景快速原型、参考几何体,或将深度/法线可视化展示为网格,不能替代多视角 3D 重建。

下载工作流

下载 JSON 或在模板库中搜索 "3D MoGe Perspective to Mesh"

下载示例素材

获取本工作流所用的示例输入图片

2.1 运行步骤

  1. 确保 LoadMoGeModel 节点已加载 MoGe 检查点
  2. 在 Load Image 节点中加载一张透视照片
  3. (可选)查看 OpenGL 和 DirectX 法线预览
  4. 点击 Queue 或使用 Ctrl(cmd) + Enter 运行

3. 全景图转 3D 网格

功能: 将 360° 等距柱状全景图转换为带纹理的 GLB 网格。该工作流使用 MoGePanoramaInference 将全景图分割为 12 个透视视角,分别独立进行单目几何估计后合并为单个网格。每个分段仍然是单视图估计,因此结果是粗略的场景重建——适合获得 360° 场景的空间概览,但遮挡区域和表面后的几何结构会缺失或碎片化。

下载工作流

下载 JSON 或在模板库中搜索 "3D MoGe Panorama to Mesh"

下载示例素材

获取本工作流所用的示例输入图片

3.1 运行步骤

  1. 确保 LoadMoGeModel 节点已加载 MoGe 检查点
  2. 在 Load Image 节点中加载一张等距柱状投影全景图
  3. 点击 Queue 按钮,或使用快捷键 Ctrl(cmd) + Enter 运行

社区资源

官方原文

本页来自 Comfy-Org 官方中文文档的固定版本,并转换为 xueai 静态页面。内容以官方持续更新的页面为准。

内容授权与修改

官方文档采用 GPL-3.0。本站保留许可证、固定提交号和修改说明,不代表 ComfyUI 或 Comfy-Org 对本站背书。

GPL-3.0,来源和修改说明