数据中心/云端

RAPID cuDF 在 Google Colab 上瞬间加速 pandas 达 50 倍

在谷歌 I/O’24 上,谷歌人工智能倡导主管 Laurence Moroney 宣布:RAPID cuDF 现已集成到 Google Colab 中。这意味着,开发人员现在可以在谷歌 Colab 的 GPU 实例上将 panda 代码加速到 50 倍,并且随着数据的增长继续使用 panda,而不会牺牲性能。

RAPIDS cuDF 是一个基于 GPU 的 DataFrame 库,可以在零代码更改的情况下加速数据处理工具 Pandas。Google Colab 是基于 Python 的数据科学最受欢迎的平台之一,它已经成为 一个月拥有超过 1000 万用户的标准工具

作为一个云托管平台,Colab 提供了一个开箱即用的数据科学笔记本环境,可以从浏览器访问。其易于使用的基础设施包括免费和付费层的 GPU。

您可以使用启用 GPU 的 Colab 笔记本电脑顶部的单个命令,在几秒钟内在平台上加速 Panda 代码:

%load_ext cudf.pandas

我们很高兴 RAPID cuDF 现在可以立即提供给所有开发人员,用于加速数据分析工作流程。这篇文章详细介绍了 RAPIDSCUDF、Colab 的预期性能以及如何开始。

RAPID cuDF 以零代码更改加速 pandas 

虽然 pandas 是世界上最受欢迎的数据处理工具之一,但随着数据大小的增长,它也在苦苦挣扎。即使有 5 到 10 GB 的数据,许多简单的操作也可能需要几分钟的时间才能在 CPU 上完成,从而减缓了探索性分析和生产数据管道的速度。

RAPIDS-cuDF 为 panda 带来了加速计算的能力,因此您可以随着数据的增长继续使用 panda,而不会影响性能。在适用的情况下,该库能够在 GPU 上无缝加速 Panda 代码,否则将回退到 CPU 的 Panda 实现。这个 cuDF Panda 的零代码更改加速(cuDF.pandans) 通常可用,自 24.02 版本起可供生产使用。

Google Colab 上的基准性能

大型数据集对性能的影响在流行的 DuckDB 数据库(如 Ops Benchmark)的 Panda 部分显而易见。DuckDB 基准设置最初由 H2O.ai 开发,在一系列常见的分析任务上比较流行的基于 CPU 的 DataFrame 和 SQL 引擎,如将数据连接在一起或按组计算统计指标。

基于 5GB 规模的类似 DuckDB 数据库的 Ops Benchmark,Panda 的性能慢到爬行,执行一系列的加入和高级分组操作需要几分钟的时间。

相比之下,在使用 DuckDB 基准操作时,cuDF 比标准 Pandas 提供了高达 50 倍的加速,借助 NVIDIA L4 Tensor Core GPU 的强大计算能力。这些 GPU 最新在 Google Colab 中提供给付费层用户。

Bar chart shows a 50x speed increase using pandas with RAPIDS cuDF on NVIDIA L4 GPUs that are available in the Google Colab paid tier.
图 1。标准 DuckDB 数据基准(5GB)cudf.pandands 与传统 pandasv2.2 的性能比较

硬件配置:NVIDIA L4,中央处理器(CPU):Intel Xeon 8480CL | 软件环境:pandas v2.2.1,RAPIDS cuDF 24.02

欲了解这些基准测试结果的更多信息,以及如何重现这些结果,请参阅 cuDF 基准测试文档

开始

准备好在 Google Colab 上试用 RAPIDS cuDF 了吗?只需将运行时类型更改为 GPU 并插入 %load_ext cudf.pandas,便可超越 pandas 代码。

要了解有关在 Google Colab 上使用 RAPID cuDF 的更多信息,请浏览以下笔记本示例:

欲了解 RAPID cuDF 的详细概述,请查看 GTC 会话:使用 RAPID cuDF 实现零代码更改加速 pandas

 

Tags