Kazuki Fujii

藤井 一喜は、2024 年に東京科学大学でコンピューター サイエンスの学士号を取得し、現在は同大学の修士課程に在籍しています。2023 年 12 月から現在まで、日本語と英語に特化した最先端 (SoTA) の多言語大規模言語モデルである Swallow モデル シリーズの事前学習とファインチューニングを担当しています。モデルのパフォーマンスとインフラストラクチャの効率を高めるための、スケーラブルな分散学習システムの構築に重点を置いて活動しています。

Posts by Kazuki Fujii

Conversational AI / NLP

Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発

日本のモデル開発を促進するためのプロジェクトである GENIAC に採択された LLM-jp が、NVIDIA Megatron-LM を使用して、日本語に強い 172B オープンモデルの学習を高速化しました。 2 MIN READ