在谷歌 I/O’24 上,谷歌人工智能倡导主管 Laurence Moroney 宣布:RAPID cuDF 现已集成到 Google Colab 中。这意味着,开发人员现在可以在谷歌 Colab 的 GPU 实例上将 panda 代码加速到 50 倍,并且随着数据的增长继续使用 panda,而不会牺牲性能。
RAPIDS cuDF 是一个基于 GPU 的 DataFrame 库,可以在零代码更改的情况下加速数据处理工具 Pandas。Google Colab 是基于 Python 的数据科学最受欢迎的平台之一,它已经成为 一个月拥有超过 1000 万用户的标准工具。
作为一个云托管平台,Colab 提供了一个开箱即用的数据科学笔记本环境,可以从浏览器访问。其易于使用的基础设施包括免费和付费层的 GPU。
您可以使用启用 GPU 的 Colab 笔记本电脑顶部的单个命令,在几秒钟内在平台上加速 Panda 代码:
%load_ext cudf.pandas
我们很高兴 RAPID cuDF 现在可以立即提供给所有开发人员,用于加速数据分析工作流程。这篇文章详细介绍了 RAPIDSCUDF、Colab 的预期性能以及如何开始。
RAPID cuDF 以零代码更改加速 pandas
虽然 pandas 是世界上最受欢迎的数据处理工具之一,但随着数据大小的增长,它也在苦苦挣扎。即使有 5 到 10 GB 的数据,许多简单的操作也可能需要几分钟的时间才能在 CPU 上完成,从而减缓了探索性分析和生产数据管道的速度。
RAPIDS-cuDF 为 panda 带来了加速计算的能力,因此您可以随着数据的增长继续使用 panda,而不会影响性能。在适用的情况下,该库能够在 GPU 上无缝加速 Panda 代码,否则将回退到 CPU 的 Panda 实现。这个 cuDF Panda 的零代码更改加速(cuDF.pandans) 通常可用,自 24.02 版本起可供生产使用。
Google Colab 上的基准性能
大型数据集对性能的影响在流行的 DuckDB 数据库(如 Ops Benchmark)的 Panda 部分显而易见。DuckDB 基准设置最初由 H2O.ai 开发,在一系列常见的分析任务上比较流行的基于 CPU 的 DataFrame 和 SQL 引擎,如将数据连接在一起或按组计算统计指标。
基于 5GB 规模的类似 DuckDB 数据库的 Ops Benchmark,Panda 的性能慢到爬行,执行一系列的加入和高级分组操作需要几分钟的时间。
相比之下,在使用 DuckDB 基准操作时,cuDF 比标准 Pandas 提供了高达 50 倍的加速,借助 NVIDIA L4 Tensor Core GPU 的强大计算能力。这些 GPU 最新在 Google Colab 中提供给付费层用户。
硬件配置:NVIDIA L4,中央处理器(CPU):Intel Xeon 8480CL | 软件环境:pandas v2.2.1,RAPIDS cuDF 24.02
欲了解这些基准测试结果的更多信息,以及如何重现这些结果,请参阅 cuDF 基准测试文档。
开始
准备好在 Google Colab 上试用 RAPIDS cuDF 了吗?只需将运行时类型更改为 GPU 并插入 %load_ext cudf.pandas
,便可超越 pandas 代码。
要了解有关在 Google Colab 上使用 RAPID cuDF 的更多信息,请浏览以下笔记本示例:
欲了解 RAPID cuDF 的详细概述,请查看 GTC 会话:使用 RAPID cuDF 实现零代码更改加速 pandas。