米Penguin Solutions(ペンギンソリューションズ)日本法人は6月24日、記者説明会を開き、AI推論向けGPUサーバーのメモリーを拡張できるハードウェアアプライアンス「MemoryAI KVキャッシュサーバー」などを発表した。PCI Express(PCIe)スロットを活用する規格「CXL(Compute Express Link)」を利用し、推論処理のボトルネックとなっているメモリー不足に対応する。正田三四郎社長は「GPUを遊ばせず、TCO(総所有コスト)を下げる」と強調した。
正田三四郎 社長
CXLはメモリー増設の新たな受け皿としてPCIeスロットを使えるようにする規格だ。メモリー(DIMM)を挿すスロットの数はCPU側の制約で頭打ちになるが、CXL対応の拡張カードならPCIeスロットに挿して容量を足せる。PCIe経由でありながら、CPUが通常のメインメモリーと同様に扱える点が特徴で、メモリー不足を安価に補える。新製品はこのCXL規格を備えたサーバーアプライアンスとなり、GPUサーバー向けに最大で11TB分のメモリーを増設する効果を発揮する。
生成AIが推論の際に参照する「KVキャッシュ」と呼ばれる過去データは処理の過程で膨大になりがちで、CPU側のメモリーに退避させることが多い。ただ、メモリー容量が不足していると、キャッシュを保持できず、計算の速度低下につながることから、新製品ではこのKVキャッシュを引き受け、GPUが計算に専念できるようにする。
同日はAI向けインフラ環境を管理するソリューション「ClusterWareAI」も発表した。GPUサーバー群の管理機能を備えたソフトウェアで、各コンポーネントの監視機能を通して障害発生時の修復を迅速化する。
(大畑直悠)