工作流教程

ComfyUI Wan2.2 Fun Inp 首尾帧视频生成示例

本文介绍了如何在 ComfyUI 中完成 Wan2.2 Fun Inp 首尾帧视频生成示例

Wan2.2-Fun-Inp 是 Alibaba pai团队推出的首尾帧控制视频生成模型,支持输入首帧和尾帧图像,生成中间过渡视频,为创作者带来更强的创意控制力。该模型采用 Apache 2.0 许可协议发布,支持商业使用。

核心功能

  • 首尾帧控制:支持输入首帧和尾帧图像,生成中间过渡视频,提升视频连贯性与创意自由度
  • 高质量视频生成:基于 Wan2.2 架构,输出影视级质量视频
  • 多分辨率支持:支持生成512×512、768×768、1024×1024等分辨率的视频,适配不同场景需求

模型版本

  • 14B 高性能版:模型体积达 32GB+,效果更优但需高显存支持

下面是相关模型权重和代码仓库:

ComfyOrg Wan2.2 Fun InP & Control Youtube 直播回放

打开官方嵌入内容

Wan2.2 Fun Inp 首尾帧视频生成工作流示例

这里提供的工作流包含了两个版本:

  1. 使用了 lightx2v 的 Wan2.2-Lightning 4 步 LoRA : 但可能导致生成的视频动态会有损失,但速度会更快
  2. 没有使用加速 LoRA 的 fp8_scaled 版本

下面是使用 RTX4090D 24GB 显存 GPU 测试的结果 640*640 分辨率, 81 帧长度的用时对比

模型类型 显存占用 首次生成时长 第二次生成时长
fp8_scaled 83% ≈ 524秒 ≈ 520秒
fp8_scaled + 4步LoRA加速 89% ≈ 138秒 ≈ 79秒

由于使用了加速 LoRA 后提速较为明显,虽然动态有所损失,但对低显存用户较为友好,所以在提供的两组工作流中,我们默认启用了使用了加速 LoRA 版本,如果你需要启用另一组的工作流,框选后使用 Ctrl+B 即可启用

1. 工作流文件下载

请更新你的 ComfyUI 至最新版本,通过菜单 工作流 -> 浏览模板 -> 视频 找到 "Wan2.2 Fun Inp" 来加载工作流。

或者,在更新 ComfyUI 至最新版本后,下载下面的工作流并拖入 ComfyUI 中加载。

下载 JSON 格式工作流

在 Comfy 云上运行

使用下面的素材作为首尾帧

Wan2.2 Fun Control ComfyUI 工作流起始帧素材 Wan2.2 Fun Control ComfyUI 工作流结束帧素材

2. 手动下载模型

Diffusion Model

Lightning LoRA (可选,用于加速)

VAE

Text Encoder

text
ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

3. 按步骤完成工作流

步骤图

  1. High noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
  1. Low noise 模型及 LoRA 加载
  • 确保 Load Diffusion Model 节点加载了 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 模型
  • 确保 LoraLoaderModelOnly 节点加载了 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
  1. 确保 Load CLIP 节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
  2. 确保 Load VAE 节点加载了 wan_2.1_vae.safetensors 模型
  3. 首尾帧图片上传,分别上传首尾帧图片素材
  4. 在 Prompt 组中输入提示词
  5. WanFunInpaintToVideo 节点尺寸和视频长度调整
  • 调整 widthheight 的尺寸,默认为 640, 我们设置了较小的尺寸你可以按需进行修改
  • 调整 length, 这里为视频总帧数,当前工作流 fps 为 16, 假设你需要生成一个 5 秒的视频,那么你应该设置 5*16 = 80
  1. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频生成

官方原文

本页来自 Comfy-Org 官方中文文档的固定版本,并转换为 xueai 静态页面。内容以官方持续更新的页面为准。

内容授权与修改

官方文档采用 GPL-3.0。本站保留许可证、固定提交号和修改说明,不代表 ComfyUI 或 Comfy-Org 对本站背书。

GPL-3.0来源和修改说明