Related Resources
计算机视觉/视频分析

视觉语言智能与 Edge AI 2.0

2024年 5月 3日
By , , , , , , and

VILA 是 NVIDIA Research 和麻省理工学院共同开发的一系列高性能视觉语言模型。这些模型的参数规模从 ~3B 到 ~40B 不等。值得注意的是，VILA 是完全开源的，包括模型检查点、训练代码和训练数据。

在这篇文章中，我们描述了 VILA 在交付边缘 AI 2.0 时如何与其他模型进行比较。

边缘人工智能的初始版本涉及将压缩的人工智能模型部署到边缘设备上。这个阶段被称为 Edge AI 1.0，专注于特定任务的模型。这种方法的挑战在于需要用不同的数据集训练不同的模型，在这些数据集中，负样本很难收集，异常情况也很难处理。这一过程非常耗时，凸显了对适应性更强、通用性更强的人工智能解决方案的需求。

‍边缘人工智能 2.0：生成人工智能的崛起 

Edge AI 2.0 标志着由基础视觉语言模型（VLM）推动的向增强泛化的转变。

像 VILA 这样的 VLM 表现出令人难以置信的多功能性，能够理解复杂的指令并快速适应新的场景。这种灵活性使它们成为广泛应用程序中的重要工具。它们可以优化自动驾驶汽车的决策，在物联网和 AIoT 环境中创建个性化交互，事件检测，并增强智能家居体验。

VLM 的核心优势在于它们在语言预训练中获得的世界知识，以及用户用自然语言查询它们的能力。这为人工智能智能相机带来了动态处理能力，而无需对定制的视觉管道进行硬编码。

边缘的 VLM：VILA 和 NVIDIA Jetson Orin

要实现边缘 AI 2.0，VLM 必须具有高性能且易于部署。VILA 通过以下方式实现这两个目标：

  • 精心设计的训练管道，具有高质量的数据混合
  • AWQ 4 位量化，精度损失可忽略不计
Diagram shows a vision encoder, projector, and LLM. The training recipe contains three stages: train the projector, do interleaved pre-training, and vision-text joint SFT.
图 1。VILA 模型架构和训练配方

VILA 是一种将视觉信息引入 LLM 的视觉语言模型。VILA 模型由视觉编码器、LLM 和投影仪组成，它们桥接了来自两种模态的嵌入。为了利用强大的 LLM，VILA 使用视觉编码器将图像或视频编码为视觉标记，然后将这些视觉标记输入 LLM，就好像它们是外语一样。这种设计可以处理任意数量的交错图像文本输入。

VILA 的成功源于其强化的预训练配方。在对视觉语言模型预训练选择进行深入研究后，我们观察到了三个主要发现：

  • 在预训练期间冻结 LLM 可以获得不错的零样本表现，但缺乏上下文学习能力，这需要解冻 LLM。
  • 交错的预训练数据是有益的，而单独的图像-文本对不是最佳的。
  • 在指令微调过程中，将纯文本指令数据与图像文本数据重新混合不仅解决了纯文本任务的退化问题，而且提高了 VLM 任务的准确性。

我们观察到，预训练过程为模型解锁了几个有趣的功能：

  • 多图像推理，尽管模型在 SFT（监督微调）期间只看到单个图像-文本对
  • 更强的情境学习能力
  • 增强了世界知识

有关更多信息，请参阅 基于 VILA 的 NVIDIA 硬件可视化语言模型 这个 VILA：关于视觉语言模型的预训练 论文，以及 Efficient-Large-Model/VILA GitHub 仓库。

NVIDIA Jetson Orin 提供无与伦比的人工智能计算能力、大型统一内存和全面的人工智能软件堆栈，使其成为在能效边缘设备上部署 VILA 的完美平台。借助 transformer 架构提供支持，Jetson Orin 能够快速推理任何生成人工智能模型，在 MLPerf 基准测试中展现出色的性能。

AWQ 量化 

为了在 Jetson Orin 上部署 VILA，我们集成了 激活感知权重量化（AWQ），以实现 4 比特量化。通过 AWQ，我们能够以可忽略的精度损失将 VILA 量化到 4 位精度，从而为 VLM 在维护性能标准的同时转换边缘计算铺平了道路。

尽管像 AWQ 这样的进步，在边缘设备上部署大型语言和视觉模型仍然是一项复杂的任务。四位权重缺乏字节对齐，并且需要专门的计算以获得最佳效率。

TinyChat 是一款专门为边缘设备上的大语言模型（LLM）和视觉语言模型（VLM）设计的高效推理框架。其出色的适应性使其能够在各种硬件平台上运行，从 NVIDIA RTX 4070 笔记本电脑的 GPU 到 NVIDIA Jetson Orin，吸引了开源社区的极大兴趣。

现在，TinyChat 扩大了支持范围，实现了对视觉数据的重要理解和推理，通过支持 VILA。TinyChat 在结合文本和视觉处理方面提供了卓越的效率和灵活性，使边缘设备能够执行尖端的多模式任务。

基准 

下表显示了 VILA 1.5-3B 的基准结果。鉴于其规模，它在图像质量保证和视频质量保证基准测试中表现出色。另外，您还可以看到，AWQ 4 位量化不会失去准确性，并且通过与 按比例缩放（S2）,它能够感知更高分辨率的图像，从而进一步提高性能。

模型 精确 VQA-V2 VizWiz GQA VQA–T 科学 QA–I MME 种子-I MMMU 值 MMMU 测试
VILA-1.5-3B-S2 fp16 79.8 61.3 61.4 63.4 69.6 1432 66.5 33.1 31.3
VILA 1.5-3B fp16 80.4 53.5 61.5 60.4 69 1442 67.9 33.3 30.8
VILA 1.5-3B int4 80 53.8 61.1 60.4 67.8 1437 66.6 32.7 31.1
表 1。基于图像 QA 基准的模型评估结果（量化前/量化后）
模型 ActivityNet MSVD MSR-VTT TGIF 感知测试
维拉 1.5-3B 50.2 76.6 57.5 51.7 39.3
表 2。视频 QA 基准的模型评估结果

在 Jetson Orin 和 NVIDIA RTX 上部署 

随着相机和视觉系统在现实世界环境中的使用越来越普遍，推断边缘设备上的 VILA 是一项重要任务。根据型号大小，您可以从七个 Jetson Orin 模块中进行选择，从入门级 AI 到高性能。这为您提供了为智能家居设备、医疗器械、自主机器人和视频分析构建生成人工智能应用程序的终极灵活性，用户可以动态重新配置和查询这些应用程序。

图 3 显示了在 Jetson AGX Orin 和 Jetson Orin Nano 上运行 VILA 的端到端多模式管道性能，两者都实现了视频流的交互速率。

VILA2.7B runs up to 7.5 frames per second on Jetson AGX Orin, much faster than other works. Jetson Orin Nano 8GB runs up to the 7B/8B models.
图 3。VILA 推理速度比较

这些基准包括查询帧的总时间，包括视觉编码（使用 CLIP 或 SigLIP）、多模式投影、聊天嵌入的组装以及使用 4 位量化生成语言模型输出。VILA-1.5 模型包括一种新颖的自适应，将用于表示每个图像嵌入的令牌数量从 729 个减少到 196 个，这提高了性能，同时在视觉编码器中提高了空间分辨率的情况下保持了准确性。

我们提供了一种高度优化的、开源的 VLM 管道，它集成了多种高级功能，包括多模式 RAG 和一次拍摄图像标记，以及图像嵌入在整个系统中用于其他视觉相关任务的有效重用。

In this GIF, VILA reasons about a building’s condition.
图 4。VILA-3B（4 位）在 Jetson Orin 上运行

消费级 GPU 体验 

VILA 还可以部署在笔记本电脑和 PC 工作站上的 NVIDIA RTX 等消费级 GPU 中，以提高用户生产力和交互体验。

In this GIF, VILA reasons about two images of temperature changes.
图 5。VILA-3B（4 位）在 NVIDIA RTX 4090 上运行

多图像推理 

TinyChat 的最新版本使用了 VILA 令人印象深刻的多图像推理功能，使您能够同时上传多个图像以增强交互。这开启了令人兴奋的可能性。

图 6 显示 VILA 可以理解图像序列的内容和顺序，为创造性应用开辟了新的途径。

GIF shows VILA reasoning about three images and figuring out what the user had for lunch and the time.
图 6。VILA-3B（4 位）在多图像理解中的应用

情境学习 

VILA 还表现出非凡的情境学习能力。在不需要明确的系统提示的情况下，VILA 可以从以前的图像-文本对无缝地推断模式，以生成新图像输入的相关文本。

在图 7 中，VILA 成功识别了 NVIDIA 徽标，并与前面示例的样式相呼应，输出 NVIDIA 最著名的产品。

GIF shows that VILA figured out what NVIDIA is famous for, given the example of Google and Apple.
图 7。VILA-3B（4 位）在上下文学习任务中的应用

开始使用 VILA

我们计划继续在 VILA 上进行创新，包括延长上下文长度、提高分辨率，以及为视觉和语言对齐策划更好的数据集。

有关此模型族的详细信息，请参见以下资源。

欲了解更多关于边缘生成人工智能的想法，请参阅 Jetson 人工智能实验室，尤其是以下视频。

视频 1.Jetson AI 实验室 | Live Llava 2.0 – Jetson Orin 上的 VILA + 多模式 NanoDB
视频 2.Jetson AI 实验室 | Jetson Orin 上的一次性多模式 RAG

 

Tags

机器人 | 生成式人工智能/大语言模型 | 计算机视觉/视频分析 | 边缘计算 | General | Jetson | Intermediate Technical | Deep dive | Computer Graphics & Visualization | 机器人学 | 生成型人工智能 | 训练 AI 模型

关于作者

姚（Jason）Lu 是 NVIDIA research 的首席研究科学家。他目前的研究兴趣是高效大语言模型（LLM）和视觉语言模型（VLM）。在加入 NVIDIA 之前，他是谷歌 Deepmind 的 TLM，在那里他从事强化学习和具体人工智能的模仿学习。他共同领导了 SayCan、RT-1、RT-2 和 RT-X 算法，这些算法已被、、、路透社、TechCrunch、等媒体广泛报道。
尹洪旭博士毕业于普林斯顿大学。他是普林斯顿大学严获 94 研究生奖学金、普林斯顿大学自然科学与工程奖学金、国防科技署金牌和汤姆森亚太控股公司金牌的获得者。他的研究重点是高效和安全的深度学习。
吉林是 OpenAI 的研究科学家。此前，他们在宋汉教授的指导下完成了麻省理工学院 EECS 的博士学位。在此之前，他们获得了清华大学电子工程学士学位和麻省理工学院电子工程硕士学位。他们曾在 Adobe Research、OmniML 和 NVIDIA Research 实习和工作。
Dustin Franklin 是 NVIDIA 的 Jetson 团队的开发人员布道者。 Dustin 拥有机器人和嵌入式系统方面的背景，他乐于在社区中提供帮助，并与 Jetson 一起参与项目。你可以在 NVIDIA Developer Forums 或 Github 上找到他。
唐浩天（音译）是麻省理工学院 EECS 韩实验室博士四年级学生，导师为宋涵教授。他的研究兴趣是系统和机器学习（SysML）。在他的博士研究中，他与实验室成员合作设计高效的 3D 深度学习基元（PVConv、NeurIPS’19 聚光灯）、网络（SPVNAS、ECCV’20 和 TPAMI’21）、推理库（TorchSparse、MLSys’22）和专用加速器（PointAcc、MICRO’21）。然后，他们将其应用于现实世界中的自动驾驶应用程序（BEVFusion，ICRA’23）。
尚扬是麻省理工学院电子工程与电子工程学院韩实验室的一年级博士生，导师为宋涵教授。在此之前，他以最高荣誉获得了清华大学电子工程系的理学学士学位，并有幸得到了王教授的指导。
Chen Su 是 NVIDIA 的高级技术产品营销经理。他热衷于与跨职能团队合作，并在物联网 (IoT)、AI、机器人和边缘计算的推动下发展业务。他将清晰度和创造力引入尖端技术和工具，推动动态宣传和互动，帮助全球开发者和合作伙伴更快地实现价值和成果。在此之前，Chen 在工业自动化和企业软件行业的研发、产品管理和售前咨询方面拥有 10 年以上的工作经验。Chen 拥有宾西法尼亚大学工程硕士学位和伯克利分校工商管理硕士学位。
宋涵是麻省理工学院 EECS 的副教授。他在斯坦福大学获得博士学位。他提出了“深度压缩”技术，包括被广泛用于高效人工智能计算的修剪和量化，以及首次为现代人工智能芯片带来权重稀疏性的“高效推理引擎”，使其成为 ISCA 50 年历史上被引用最多的前五篇论文之一。他开创了 TinyML 研究，将深度学习带到物联网设备中，实现边缘学习。他的团队在硬件感知神经架构搜索（一劳永逸的网络）方面的工作使用户能够设计、优化、缩小人工智能模型，并将其部署到资源受限的硬件设备上，在旗舰人工智能会议的许多低功耗计算机视觉竞赛中获得第一名。