OpenAI と NVIDIA の対談や ChatGPT など自然言語処理技術の基礎が 1 日で学べるワークショップを NVIDIA GTC で開催

Reading Time: 2 minutes

NVIDIA は、 3 月 21 日 (日本時間) からオンラインで開催される NVIDIA GTC で、「ChatGPT」で話題の OpenAI 共同創業者/チーフサイエンティストのイリヤスツゲヴェル氏と NVIDIA 創業者/CEO ジェンスンフアンの対談を行います。参加は無料です。また、GTC 期間中はオンラインのハンズオンワークショップ DLI (Deep Learning Institute) が通常の 70% 割引の価格で受講でき、ChatGPT の基礎技術である Transformer ベースの自然言語処理技術が 1 日で学べるワークショップの他、はじめてディープラーニングを学ぶ人に向けたワークショップを日本語で提供いたします。

NVIDIA と自然言語処理技術の深い関係

2022 年は、「ChatGPT」や「Stable Diffusion」に代表されるジェネレーティブ AI にとって、重要な年でした。プロンプトと呼ばれる文章を入力することで、自然な応答や高い品質の画像を生成できるようになり、これら AI の言語理解や表現力に驚いた方も多いのではないでしょうか? 実はこうした自然言語処理技術の発展に NVIDIA も一役買っています。

近年、AI を使った自然言語処理の応用が加速度的に進んでおり、チャットボット、AI 音声エージェントなどの AI アシスタントが私たちの生活やビジネスで活躍し始めていることはみなさまもご存じのことかと思います。こうした活用の立役者が Transformer ベースの大規模言語モデルです。大規模言語モデルの特徴の一つは、より多くのパラメーターを追加し、より多くのデータを学習させることで、その性能が向上し続けることです。^*1

2020 年に発表された GPT-3 というモデルの学習には、1,750 億個のパラメーター、3,000 億のトークンが用いられており^*2 自然な文章や、適切に動作するプログラムコードの生成など、従来の AI とは一線を画する性能を達成し、世界中に衝撃をもたらしました。GPT-3 の学習には、当時最新のクラウド上の NVIDIA V100 データセンター GPU 1 台を用いた場合、計算に 355 年かかり、その費用は 460 万ドルに上ると試算されています。

大規模言語モデルの学習においては、モデルサイズが巨大なため 1 台の GPU メモリ上にモデルが収まらず、複数の GPU を協調動作させる必要があり、その際に GPU どうしの通信がボトルネックになってしまいます。

つまり、GPT-3 のような大規模言語モデルを完成させるには、GPU サーバー数台がただそこにあればよいのではなく、高速インターコネクトで接続された大規模な GPU クラスターが必要ということになります。簡単に言えば、最先端の大規模言語モデルの研究では大量の NVIDIA GPU を、大量の NVIDIA ネットワーク製品で接続する必要があるということです。NVIDIA はより大型のモデルの学習を高速に行えるように GPU のパフォーマンスを向上させ続ける^*3 だけでなく、大規模言語モデルの学習や推論を効率的に行うためのツールを提供したりなど^*4 することでも自然言語処理技術の研究の発展に貢献しています。

図 1. ディープラーニングのスケーリング則 (左) と NLP のスケーリング則 (右)
参照: https://developer.nvidia.com/blog/applying-natural-language-processing-across-the-worlds-languages/

OpenAI と NVIDIA の対談が実現

前述した通り、NVIDIA と自然言語処理技術の関係は非常に深く、今後もその関係は続くでしょう。「Fireside Chat with Ilya Sutskever and Jensen Huang: AI Today and Vision of the Future」 [S52092] では、いま世界を沸かせている OpenAI イリヤ氏と NVIDIA ジェンスンが「AI のいまと将来のビジョン」を対談形式で語り合うことが決まりました。NVIDIA にとって自然言語処理技術は非常に注目している技術分野であり、GTC においても本セッションはジェンスンのキーノートの次に重要なセッションといってもよいかもしれません。

日本時間 3 月 23 日午前 1 時から初回配信。対談はオンデマンドでも配信され、 GTC の会期中はいつでもお好きな時間にご覧いただくことが可能です。滅多に見られないこの貴重な対談をお見逃しなく。ご参加のお申込はこちらから。

1 つの分野を 1 日で学べるハンズオンワークショップ

AI やアクセラレーテッドコンピューティングの分野で自分のキャリアの可能性を広げたい方に向けても NVIDIA は魅力的なコンテンツを提供しています。NVIDIA GTC では最新の「講師によるワークショップ」を日本語で提供することが恒例となっており、大人気プログラムとしてご参加いただいた皆様から高く評価をいただいております。GTC 期間中に受講すると通常の 70% 割引価格でご参加いただけます。さらに、5 名以上でお申込いただくと 1 名あたり 99 ドルでご参加いただけます。ご参加のお申込はこちらから。

DLI 受講のメリット:

認定講師による丁寧な解説。ティーチングアシスタントによる学習、演習の手厚い支援。
半年間アクセスできるクラウド上の優れた教材と演習環境。
理解度テストに合格すると履歴書や SNS に書ける修了証を授与。

ChatGPT の基礎技術「Transformer ベースの自然言語処理」が 1 日で学べるコース

自然言語処理の応用が近年加速度的に進んでおり、その立役者が Transformer ベースの大規模言語モデルだとご紹介いたしました。このワークショップに参加することで、学習済みモデルを活用してテキスト分類、NER (固有表現抽出) 、質疑応答などのタスクに対応する方法が学べます。ワークショップの詳細はこちらから。

「Transformerベースの自然言語処理アプリケーション構築」[DLIW52084]

日程: 3 月 24 日 (金)

時間: 午前 10:00 – 午後 6:00

費用: 149 ドル (通常 500 ドル)

言語: 日本語

定員: 40 名

難易度: Python やディープラーニングフレームワークの使用経験、およびニューラルネットワークに関する基礎的な理解があれば受講可能です。

参加方法: お申込はこちらから。

はじめてディープラーニングを学ぶエンジニアや学生にぴったりなコースも

Transformer を用いた自然言語処理はやや発展的な内容ですが、はじめてディープラーニングについて学びたい方はコンピュータービジョンの基礎から挑戦してみるのはいかがでしょうか? このワークショップではディープラーニングモデルをゼロから学習させ、精度の高い結果を実現するためのツールとコツを学びます。また、AI アプリケーションを開発するビジネスの現場で活用が増えている転移学習についての技術を習得することも可能です。ワークショップの詳細はこちらから。