数据科学家利用生成式 AI和预测分析构建新一代 AI 应用。在金融服务领域，AI 建模和推理可用于多种解决方案，包括用于投资分析的替代数据、AI 智能文档自动化，以及交易、银行和支付中的欺诈检测。
H2O.ai 与 NVIDIA 合作，利用 NVIDIA AI Enterprise 平台以及 H2O.ai 的 LLM Studio 和 Driverless AI AutoML，为生成式 AI 和数据科学提供了一个端到端的工作流程。H2O.ai 还利用 NVIDIA AI Enterprise 部署了新一代 AI 推理技术，包括大型语言模型 (LLM)，用于构建安全可靠的企业级金融 GPT 和大规模定制应用。
此集成旨在帮助组织开发和部署自己的 LLM 和自定义模型，以用于自然语言处理 (NLP) 以外的各种应用(包括图像生成)。这些模型支持使用多种内容模式(例如文本、音频、视频、图像和代码)为更广泛的应用生成新内容。
金融服务机构公司迫切需要使用生成式 AI 并加速创新，从而带来新的产品机会并降低运营领域的成本。受监管的(银行、交易员、资产管理公司和保险公司)和不受监管的(对冲基金和自营交易员)金融机构都在致力于通过生成式 AI 和数据科学应用的融合来开发全局解决方案。
本文概述了随着金融机构采用最新 AI 模型，不同的数据科学用例以及用于为以下进展领域构建集成应用的工具：
- 更新的生成式 AI 和 LLM 用例
- 加速交易和风险推理
- 智能自动化和聊天机器人体验
- NVIDIA Triton 推理服务器上的数据科学和加速机器学习分析
- 融合生成式 AI 和预测分析
关于加速交易和风险推理的生成式 AI 和 LLM
投资的圣杯在于通过实时计算来保持市场的领先优势，并利用通常是非结构化的替代数据源。据估计，有 70% 或更多的组织信息是非结构化的，而这些信息目前尚未被组织充分利用。详情请参阅IDC 关于非结构化数据的报告。
如今，资本市场通常依赖于传统的表格数据源市场数据存储在列和行中。必须利用更新的替代数据源以获得信息边缘。
替代数据源
替代数据是一类从非传统来源获得的非结构化信息，而传统市场数据无法提供背景信息。它可以提供更深入的见解，扩展基础分析(即定性过程)，并捕获行为金融元素。替代数据的来源可以包括以下内容：
- 收益电话会议成绩单
- Fed 会议纪要
- 社交媒体
- 新闻
- 卫星图像
- 金融申报
替代数据使用这些信息来更深入地了解公司的财务状况或交易对手(图 2)，以分析可用于交易和风险管理决策的金融申报。投资领导者必须应对这种非结构化替代方案的分析，以便做出及时、明智的决策并保持市场领先地位。
对交易和风险的影响
随着生成式 AI 和预测分析的融合，金融公司正在使用 NVIDIA 和 H2O.ai 集成来构建自己的生成式 AI NLP 模型和用于替代数据的 LLM，以满足内部需求和外部客户。因此，他们正在帮助客户在市场上表现出色，并努力履行其托管责任，在更大限度地降低决策风险的同时实现超额回报和 Alpha.
使用生成式 AI 的 NLP LLM 的一个关键用例是将信号从通常很杂的非结构化数据中分离出来，然后将其索引为结构化数据，以通过情感分析、问答和总结(例如，您的公司 GPT)来获得见解，从而了解各种股票代码符号。此过程可以提供类似于金融市场基本分析的结构化信号，这些信号可用于下游模型，以满足风险和回报目标。
NVIDIA Triton 推理服务器 是 NVIDIA AI Enterprise 平台的一部分，它与 H2O.ai 的 h2oGPT LLM 配合使用，可以提供快速的生成式 AI LLMOps。由于客户可以在其企业内训练和部署多个模型，因此数据科学家能够以更低的运营成本训练和生产应用程序。
组织可以在非结构化信息来源（例如金融新闻）上使用基础 LLM，并通过 定制化 来更好地理解金融领域的术语。
最终用户可以通过使用 检索增强生成 (RAG) 与定制模型进行交互。
H2O.ai 在 NVIDIA Triton 推理服务器上运行的 LLM 解决方案展示了更多令牌和更低延迟的加速推理。
图 3 展示了部署和运行多个 LLM 时降低的总拥有成本 (TCO) 以及增加的投资回报 (ROI)。更多信息，请参阅NVIDIA TensorRT-LLM 增强功能在 NVIDIA H200 上大幅加速大型语言模型。
适用于智能自动化和聊天机器人体验的生成式 AI
生成式 AI LLM 还用于面向内部员工和外部客户体验的聊天机器人。聊天机器人有助于提高组织工作效率和运营，节省成本，提高利润空间，并在客户流失的情况下改善客户体验。
在通过生成式 AI 打造的客户体验中，我们的目标是实现超个性化和满意度(图 4)，提高组织的净推荐值 (NPS) 和客户满意度 (CSAT).
对于内部员工体验，AI 工具通过帮助将信息传递给管理层以获取决策见解来提高工作效率。在外部，AI 工具可以通过座席助理满足客户需求。
客户聚焦：澳大利亚联邦银行
您可以将 H20.ai 护栏和 NVIDIA NeMo 护栏与 langchain 等工具结合使用，以开发具有更多灵活选项的更强大的自定义 GPT 模型。H20.ai 还提供模型管理、护栏和可解释性工具，有助于模型解释，所有这些工具均可供客户在受监管的环境中使用。
H2O.ai 实现了生成式 AI 的普及，以便企业可以安全地构建自己的先进 LLM.澳大利亚联邦银行已利用此技术构建自己的 GPT，以满足客户的需求。
NVIDIA 和 H20.ai 都认为，每个组织都需要拥有自己的 LLM 和 GPT，就像他们需要拥有自己的品牌、数据、算法和模型一样。开源生成式 AI 正在实现转型，在保留数据、代码和内容所有权的同时实现 AI 价值的大众化。
“我们与 H2O.ai 合作，致力于负责任地推广 AI 的普及。通过我们的合作，我们现在能够创造全新的生成式 AI 解决方案，这使我们能够真正控制数据、技术和训练方式的使用。负责任的 AI 不仅仅是关于偏见和可解释性的问题，它还涉及到您对自己的责任——您的开发方式和所交付的成果。”Dan Jermyn，澳大利亚联邦银行首席决策科学家表示。
NVIDIA Triton 推理服务器上的数据科学和加速机器学习分析
AI 正在使用预测技术和算法（例如 XGBoost）加速机器学习在金融服务业的应用，适用于以下用例： 预测限价盘价格 以及检测金融交易中的欺诈。
欺诈预测流程不仅包含一个模型，还包含一个捆绑在一起的模型序列，从而提供更动态的能力，以深入了解潜在客户。许多欺诈模型基于不同细分市场的行为属性(图 5)：
- 地理位置与交易发生地对比
- 交易类型(存在卡与不存在卡)
- 平均交易规模
- 不同时间窗口和时间聚合下的平均交易频率
- 例如，30/60/90 天与每周/每月/每季度/每年
这些都基于各种业务规则或预测特征。例如，如果同一商户在短时间内进行越来越多的大型交易，则模型算法可以标记该交易是否存在潜在欺诈。
在反洗钱 (AML) 和交易欺诈中，关键在于了解客户 (KYC) 和客户的客户 (Customer).您可以确定客户的身份并了解客户和其他代理(包括欺诈实施者)的行为属性。
在每组模型中，您都可以更深入地了解使用 AI 技术(例如智能自动化)的客户和参与者。这让您可以了解客户的身份是否被泄露，从而为交易分配更好的分数。更好的分数有助于提高交易的可靠性，并为客户提供安全可靠的体验。交易会根据 KYC 的身份验证密钥和行为属性以及欺诈者还是真实客户执行交易而停止。
AML 和欺诈检测使金融机构能够在新出现的威胁面前保持领先地位。多个因素在预防金融应用程序中的欺诈方面发挥着关键作用：
- 基于生成式 AI 模型的智能文档自动化，可处理更多样化的身份信息
- 行为属性
- 传统数据科学
H2O.ai Driverless AI 已集成 NVIDIA Triton 推理服务器、RAPIDS cuML 和 RAPIDS cuDF (图 6)，使金融机构能够加速其欺诈检测应用程序。
融合生成式 AI 和预测分析
我们越来越多地看到终端客户对数据科学和 AI 的需求日益融合。基于 LLM 的 AI 应用，即使它们基于 NLP、图像和音频等非结构化、多模态数据(图 7)，也必须与表格式数据科学解决方案相关联。终端金融解决方案将数据科学技术和加速预测分析(如 XGBoost)与即将推出的生成式 AI 解决方案相结合。
新的生成式 AI 新领域解决方案与传统的 Brownfield 数据科学解决方案融合在一起，可提高最终用户应用程序的生产力和 AI 能力。
客户聚焦：北美银行卡
北美银行 (NAB) 反映了这一点，该公司正在探索机会，在目标和愿景一致的推动下，将 H2O.ai 的更多新一代 LLM 驱动的应用程序无缝集成到其运营中。这种合作关系有望在优化 NAB 的运营、简化其业务流程和自动化内部工作流程方面产生显著优势。最终，这将提高绩效和生产力。
NAB 首席数据和分析官 Jeffrey Vagg 表示：“H2O.ai 始终如一地表明了我们对持续成功的既得利益，并随时准备探索新的方法来利用 LLM 驱动的解决方案来实现更高的绩效和生产力。
Vagg 预计，生成式 AI 有可能提升 NAB 的性能、增强商户支持和欺诈检测能力，从而有效识别试图利用支付行业漏洞的恶意行为者。
“我们相信，每个组织都可以安全地创建和拥有自己的 LLM，为客户带来转型。”Vagg 补充道。事实证明，NAB 对 H2O.ai 的深度信任有助于驾生成式 AI 的复杂性。
通过与 H20.ai 合作， NVIDIA 提供了客户成功所需的关键要素，以及创建自己的 LLM 和定制所需的一致目标。
阻塞问题和解决方案
金融机构往往分为两大阵营：受监管和不受监管。受监管机构通常是大型金融机构，例如银行，它们在多个业务部门大规模部署 AI.另一方面，受监管机构包括在采用技术方面更先进的对冲基金和自主交易公司。虽然最初机构在采用技术方面落后，但差距正在缩小。
阻碍 AI 在金融服务中应用的另一个因素是能够针对金融领域和金融应用程序定制 AI 模型，以提供更高的准确性。传统上，传统的数据科学应用程序基于表格数据，银行需要这些应用程序以合规的方式对这些模型进行生产化处理。
监管和非监管机构都希望能够利用其数据科学资源，这些资源稀缺且备受追。他们希望为金融领域构建具有最高准确性的金融 AI 应用程序，并充分利用其时间和生产力。
正如客户案例所示，这两位客户都已采用 AI LLM Ops 和 MLOPs 解决方案，并需要生产力工具来更快地进入金融服务行业的企业生产用例。这需要开发生产力加速器，将此类多样化的解决方案整合在一起，将生成式 AI 与数据科学和分析模型集成到单个应用工作流程中。
通过结合 H2O.ai LLM Studio 和 H2O.ai Driverless 的功能，以及利用 NVIDIA AI Enterprise 的强大能力，H2O.ai 与 NVIDIA 能够在更短的时间内为金融领域开发出专门的集成应用。NVIDIA AI Enterprise 支持加速的高性能推理，
- NVIDIA NeMo ‘
- NVIDIA Triton 推理服务器 ‘ ‘
- NVIDIA TensorRT ‘
- NVIDIA TensorRT
- 其他 NVIDIA AI 软件
H2O.ai 的 LLM Studio 是一种开源无代码解决方案，可助力组织微调和评估 LLM.金融机构可以使用 NVIDIA NeMo 针对其领域定制模型， NVIDIA NeMo 是一个框架，能够通过提示学习、指令调整和 RLHF 等各种自定义功能微调和监督模型(图 8)。
h2oGPT API 可持续地基于开源构建，这是金融服务等受监管行业最负责任的发展方向。
开发者可以完全控制和自定义其 AI 模型。这种自定义和控制水平是当今市场上任何产品都无法比拟的。
模型和自定义框架可以使用您自己的知识产权高效完成您领域的任务，以便分发和获利，而成本仅为自定义、运行和运行其他专有 LLM 模型的一小部分。
客户可以使用 h2oGPT 内置护栏以及 NeMo 护栏，为企业 AI 用例提供支持。
NVIDIA NeMo Retriever
借助 H2O.ai 的内置 RAG，您可以将生成式 AI 模型无缝集成到现有的数据存储中。H2O.ai 以及 NVIDIA 的 NeMo Retriever 均支持使用 NVIDIA 优化的 RAG 功能。
NeMo Retriever 是一种生成式 AI 微服务，它允许企业将自定义 LLM 连接到他们的企业数据。这样做可以为其 AI 应用提供高度精准的响应，从而实现更准确的交互体验。它是 NVIDIA AI Enterprise 软件平台的一部分。
使用该微服务的开发者可以将其 AI 应用连接到业务数据(无论数据位于何处)，从而将计算和软件工具应用引入您的数据。这可以帮助公司在几乎任何数据中心或云上开发和运行 NVIDIA 加速的推理应用。
总结
NVIDIA 和 H20.ai 携手为最终客户开发生成式 AI 应用提供了更大的灵活性和工具。这为快速开发和生产融合式 AI 和数据科学应用提供了一条捷径，解决了企业面临的重大瓶颈。
因此，您可以开发自己的 LLM，其中知识产权以及盈利和重新分配的能力与您同在。您可以将现有投资、数据和资源转变为收入中心，实现 AI 投资的回报，并随后投资于更多 AI 项目。
这一切结合在一起，可更大限度地提高投资回报率、降低 TCO，并通过工具和框架的灵活性和选择提高生产力，从而构建融合应用程序，为我们的最终客户提供前所未有的价值。
