東京工業大学、富士通など7団体は5月10日、理化学研究所が運用するスーパーコンピューター「富岳」で学習した日本語能力に優れた大規模言語モデル（LLM）「Fugaku-LLM」を開発したと発表した。富岳の能力をLLM学習に最適化したことを成果として報告。研究やビジネスでの活用を目指し、開発者や研究者向けにオープンソースで公開したほか、富士通のサイトを通じて誰でも無償で試すことができる。

　Fugaku-LLMは、同大を中心としたプロジェクトで2023年5月から開発を開始。深層学習のフレームワークを富岳に移植し、LLMの深層学習モデル「Transformer」を富岳上で最適化することで、学習の演算速度を6倍にした。また、富岳向けに通信を最適化し、通信速度を3倍高速化。これにより富岳搭載のCPUで、LLMの学習が可能になった。Fugaku-LLMのパラメーター数は130億で、国内で多く開発されている70億より高性能になっている。学習データの約6割が日本語で、学習データの収集や適切なフィルタリングといった作業から行ったため、データの透明性、安全性も担保。日本語能力に優れ、敬語など日本語の特徴を捉えた自然な対話が行えるという。


　同大の学術国際情報センターの横田理央・教授は「富岳のCPUは富士通製で、ハードウェアも含め、すべて国産でLLMを作ったことは大きな成果だ。公開したばかりで実力は未知数の部分があるが、多くの方に使ってもらってフィードバックをいただきたい。どんどんよくなるサイクルを国内で回していきたい」と展望した。ビジネス面での活用について、富士通の白幡晃一・人工知能研究所シニアプロジェクトディレクターは「業種や顧客ごとにファインチューニングを行う際に、LLMの開発で磨いた技術を生かしたい。業務を通じて顧客が効果を得られるようにしていきたい」と述べた。

　通常、LLMの学習にはGPUが用いられるが、世界中でGPUの需要が高まり不足する中、富士通製のCPUを搭載した富岳でLLMの学習を行うことで、GPUに頼らない生成AIの可能性を示すとの狙いもあったとした。横田教授は「LLMの開発において米NVIDIA（エヌビディア）一強になっている中で新たな選択肢になればいいと考えている」と話した。

　開発に参加したのは、同大、富士通のほかに、東北大学、名古屋大学、理化学研究所、サイバーエージェント、Kotoba Technologiesの計7団体。Fugaku-LLMは、オープンソースソフトウェアプラットフォームの「GitHub」や「HuggingFace」で公開した。富士通の先端技術を無償で試せるサイト「Fujitsu Reseach Portal」で利用できる。
（堀 茜）