生成式 AI 视频模型的激增以及这些模型引入的新工作流程，显著提高了创意和营销技术行业的生产效率，并提高了输出质量。
GliaCloud 是一家总部位于台北的 AI 初创公司，参与了 NVIDIA 初创加速计划，专注于自主营销内容创作。此扩展程序模板将 NVIDIA Omniverse 中渲染的视觉数据 (包括 RGB 图像、法线贴图、深度图、实例 ID 分割和语义分割) 与 ComfyUI 连接起来，以增强 AI 图像处理工作流。
使用 NVIDIA Omniverse 库生成视频到视频的工作流
创建 Omniverse-ComfyUI 桥接器的想法首先源于 GliaCloud 团队在 ComfyUI 中试验各种视频到视频 (v2v) 生成式 AI 模型的经验。他们认识到，当前的生成式 AI 工作流对深度图和分割输出等详细视觉数据的需求与日俱增。
GliaCloud 首席执行官兼联合创始人 David Chen 表示：“我们发现，将使用 NVIDIA Omniverse 构建的支持物理 AI 的高级应用与生成式视频模型连接在一起的混合工作流具有巨大潜力。Omniverse 平台提供的创意控制粒度和生成式 AI 模型令人信服地证明了新兴的营销需求，为生成的内容提供了前所未有的视觉效果和可扩展性
在内部实验中，GliaCloud 团队观察到，通过利用 Omniverse RTX 渲染器渲染的不同数据作为 v2v 模型输入，在生成输出的优化和对象控制方面取得了显著改进。
这是通过 NVIDIA Omniverse Replicator 框架实现的，该框架支持根据分割输入创建动态掩码，从而大大改进了一系列开源视频生成模型的整体输出。v2v 模型现在可以使用为专用区域保留的单独提示，对单个输入进行多次传递迭代，从而实现基于对象的风格控制。
Omniverse-ComfyUI 桥接器可实现更快、更精确的迭代
Omniverse-ComfyUI 桥接器专为实现灵活性、可扩展性和易于集成到定制 ComfyUI 工作流而设计。其轻量级架构可确保无缝采用，而不会产生大量资源开销，使用户能够根据特定要求有效扩展工作流程。
Omniverse-ComfyUI 桥接器的核心功能包括：
- 单帧和多帧捕捉：捕捉单个帧以进行精确编辑或动画和动态视觉内容序列。
- ComfyUI 的自定义节点集成：将 Omniverse RTX 渲染器数据直接流式传输到自定义 ComfyUI 节点，从而促进简单高效的工作流程设置。
- 实时数据处理：即时视觉反馈可加快实验速度，显著缩短迭代时间，从而提高生产力。
Omniverse-ComfyUI 桥接器的未来迭代预计将包括进一步的增强功能，例如高级动画控制、与人类姿态估计模型的集成，以及用于边缘检测的其他功能。这些进展有望在 AI 驱动的视觉工作流中提供更高的控制力、准确性和创作自由。
随着生成式 AI 的不断发展，精确、高质量的数据流 (如 Omniverse-ComfyUI 桥接器提供的数据流) 的重要性将变得越来越重要。未来，随着社区同时开发更新的模型并相应地调整其工作流，GliaCloud 团队预计工作流结构的迭代速度将大幅提升。
开始使用
借助 GliaCloud 开源 Omniverse-ComfyUI 桥接器，您现在可以引入自己的 OpenUSD 资产，并使用 ComfyUI 节点将其集成到任何 v2v 工作流中。借助 Omniverse 的逼真渲染功能和 ComfyUI 模块化用户界面的优势，您可以快速、精确地尝试自定义流程。
GliaCloud 致力于拥抱和贡献开源社区，实现创意大众化。
通过订阅 NVIDIA 新闻并在 Discord 和 YouTube 上关注 NVIDIA Omniverse，及时了解最新信息。
- 访问我们的 Omniverse 开发者页面，获取入门所需的所有基础知识。
- 访问一系列 OpenUSD 资源，包括新的自定进度学习 OpenUSD 培训课程。
- 收听即将推出的 OpenUSD 预览体验计划直播，并与 NVIDIA 开发者社区建立联系。
开始使用开发者入门套件，快速开发和增强您自己的应用和服务。
致谢
作者想感谢 GliaCloud 的创意技术专家 Billy Ho 和 GliaCloud 的 DevOps 工程师 Ying Xiang Zhao 对此博文的贡献。
