生成AIの需要増加で、発熱量の多いGPUを搭載したサーバーを水冷方式で冷却する動きが活発化している。主要なデータセンター(DC)事業者やSIerは、運営するDCで水冷サーバーの受け入れの整備を急ピッチで進めており、水冷サーバーの販売台数の増加が確実視される。主要サーバーメーカー4社に、市場の動向と供給増に向けどのように体制を強化していくかを聞いた。
(取材・文/安藤章司)
DC設備に依存する水冷方式
従来のサーバーは空冷方式が主流であり、水冷方式はほとんど普及してこなかった。DC設備の冷却効率が高まったり、主要な発熱部位であるCPUの省電力化が進んだりしたことで、一般的な業務アプリケーション用のサーバーは、構造が簡易で低コストな既存の空冷方式で冷却をまかなうことができていた。だが、近年注目を集める生成AIの運用で不可欠なGPUサーバーは、電力消費量(=発熱量)が桁違いに大きく、空冷では冷やしきれない場面が増えてきた。
最新のGPUサーバー1台あたりの発熱量は10kWに達しており、サーバーラックに10台収納すると100kWにもなる。一般的な業務用サーバーのラックあたりの発熱量は4~6kWであることを考えると、まさに桁違いとなる。
通常の空冷ではラックあたり25~30kWを冷やすのが限界とされ、サーバーラックに冷却水を引き込んで、そこに冷却用の空気を当てて冷却する間接水冷の「リアドア方式」でもラックあたり70kW程度が上限とされている。今後、GPUサーバーの消費電力がより増える見込みであることから、冷水の配管を発熱部位であるGPUに直接接触させて冷やす「直接水冷」の需要が急増すると予想されている。
生成AI普及に端を発する水冷サーバーの需要増を感じ取ったDC事業者のMCデジタル・リアルティや、SIerのキヤノンITソリューションズが、水冷サーバーを導入可能な整備投資を相次いで行うなど、2024年後半から水冷サーバーの受け入れを本格化する動きが目立ち始めた。水冷サーバーを受け入れるには、サーバーが設置してある室内まで冷却水を引き込む配管工事を行うとともに、万が一の水漏れ対策も考慮するなど、追加での設備投資が必要となる(図参照)。
「枯れた技術」が新たな商機生む
表の通り、水冷には複数の方式がある。現在、最も一般的な水冷方式が「空冷併用型水冷」である。GPUやCPUなど主要な発熱源だけ水で冷やし、電源や通信機器などその他の部分は空気で冷やす方式だ。すべての熱源を水で冷やそうとすると、冷却水を通す配管の数が増えてコストがかさむため、空冷方式を併用することで構造を簡素化し、コストを抑えているのが特徴だ。現行のDC設備は、室内の空気を空調設備で冷やす空冷方式で設計されているため、水冷の導入に伴う設備投資を最小限にとどめられるメリットもある。
空冷部分をなくして完全に水冷のみで冷却する「完全水冷」方式もあり、この場合、理論上はDC室内は空調なしの常温でよくなり、電気代を節約できる。サーバーを冷却するファンを回す電気も要らなくなり、ファンが風を切るけたたましい音もなくなる。ただ、現状、一般業務用サーバーのほとんどが空冷方式であることを踏まえれば、DC室内の空調をなくすわけにはいかず、既存設備のままでは完全水冷のメリットを十分に享受できない点が指摘されている。
将来的には、完全水冷サーバーを前提にDC設備を設計し、室内を常温にして冷却能力を大幅に高めた高規格DCが登場することも考えられる。空冷方式のサーバーの場合、ファンの取り付け場所や空気の通り道の確保、CPU/GPUを冷却する巨大なヒートシンク(冷却板)の格納のため小型化に限界があったが、完全水冷になればこれらの空間は不要になるため、集積度を高められる利点もある。完全水冷にすればラックあたり200kW超であっても冷却できる見込みで、高集積化によってDCの建屋そのものの小規模化も可能になる。
ほかには、水冷設備がないDCや企業のサーバールームでも運用可能な「ラック内完結型水冷方式」や、特殊な液体にサーバー全体を浸す「液浸方式」がある。前者のラック内完結型はGPUサーバーをユーザー企業自身が保有するオンプレミス需要に適しており、後者の液浸は通常のサーバーラックを使わず、風呂桶のような筐体に液を満たして冷却するため、一般的な19インチラックに対応したDCではなく、コンテナ型DCや、船舶・車両の内部といった特殊な設置場所や用途での応用が期待されている。
水冷方式はもともと科学技術計算用のスーパーコンピューター(HPC)などの分野で使われており、それ自体は実績のある「枯れた技術」だ。主要サーバーベンダーはHPCですでに水冷の技術やノウハウを蓄えており、生成AIの需要増とDCの水冷対応の進展は、既存技術を生かした水冷GPUサーバー拡販の絶好の商機と言える。
HPE
納入実績や水冷ノウハウを生かす
日本ヒューレット・パッカード(HPE)は、HPCの分野で水冷方式の開発や納入経験が豊富で、サーバー内を循環する冷却水とDC側の冷却水との熱交換を行う冷水分配ユニットの保守、DC設備で水を冷やすチラー(冷凍機などの冷却水循環装置)や冷却塔の運用に関する助言、万が一の水漏れへの対応策などの「水冷に関する幅広い実績やノウハウを持っているのが強み」と、高橋健・HPC&AI事業統括本部第三営業部部長は話す。
高橋 健 部長
24年12月にキヤノンITソリューションズが運営する西東京DC第2号棟が水冷サーバーの受け入れ設備を整備した際、最初のユーザー向けに水冷サーバーを納入している。この際は大手製造業者がデータ分析に使う科学技術計算用のHPC用途での納入だったが、「(生成AI用の発熱量が大きい)GPUサーバーの販売数も伸びている」(高橋部長)という。
とはいえ、足元のGPUサーバーの販売数のうち水冷方式が選択されるケースは半分ほどにとどまっているという。理由としては、自社で大規模な生成AIを運用するためにGPUサーバーをそろえる国内ユーザーはまだそれほど多くなく、かつラックに数台程度のGPUサーバーを稼働させる小規模運用なら空冷で冷却できることが挙げられる。ほかにも、DC側の水冷サーバーの受け入れ体制が整っていなかったり、水冷方式が威力を発揮するラックあたり100kW級の大電力を供給できるDC設備が限られるなどの背景もある。
生成AIを活用するユーザー企業が増え、水冷方式のGPUサーバーを受け入れることが可能なDC設備の整備が進み、大電力を供給できるDCが増えれば、「水冷サーバーの比率が高まるだけでなく、ラックあたり200kW相当を冷却できる完全水冷方式の販売増も見込める」(小森博之・デジタルセールス・コンピュート事業統括本部コンピュート技術部ソリューションアーキテクト)とみている。将来的には完全水冷方式によってラックあたり400kWの冷却技術の開発も可能になると予測する。
小森博之 ソリューションアーキテクト
国内の一般的なDCは、室温を20度以下に設定し、室内の冷気によってIT機器を冷却する設計になっている。水冷サーバーを受け入れるに当たっては冷却用の配管を追加で設置することになるが、「水と空気の温度、それぞれの流量などをどのくらいで設定するのか、IT機器の発熱量に応じて冷却効率や電力効率が最も高くなる選択をするのがポイントになる」(同)と指摘。HPEはこれまで積み上げてきた水冷サーバー開発や納入実績、ノウハウを基に、ユーザー企業やSIerなど販売パートナーへの技術的な支援に力を入れていく。
エフサステクノロジーズ
水冷オンプレミス需要を狙う
富士通グループでサーバーやストレージなどの製造・販売を担うエフサステクノロジーズは、生成AIの需要増に伴うGPUサーバーの水冷対応を積極的に進めている。HPCで水冷技術を蓄積してきたノウハウを生かして、1ラックあたり100kW相当の熱を冷却できる高規格製品に加え、24年12月にはユーザー企業のサーバールームにも設置可能なオンプレミス対応のラック内完結型水冷サーバーを新しく投入。GPUサーバーを小規模導入したいと考えるユーザーニーズにも応えられるよう製品ラインアップを強化している。
(右から)中嶋一雄シニアディレクター、谷口逸人マネージャー
ラック内完結型水冷サーバーは、設置する場所に冷却水を供給する設備がなくても導入できる方式で、温まった冷却水にファンで空気を吹き付けて冷やす。自動車の水冷エンジンで使うラジエーターの構造に近い。ラックあたり15kWの冷却能力と、通常の水冷方式に比べれば対応できる範囲は限られるものの、「自社内にGPUサーバーを設置したいと考えるユーザーニーズに適している」と、中嶋一雄・DC-AIインフラインテグレーション統括部シニアディレクターは話す。
秘匿性の高い業務で生成AIを使う場合、自社内にGPUサーバーを設置して使いたいと考えるユーザーは少なからず存在する。本格的な投資を行う前段階の試験的な小規模導入や、すでに学習済みの大規模言語モデル(LLM)を社内データベースなどと組み合わせて運用するといった負荷が少ないケースに、ラック内完結型水冷方式は適しているとエフサステクノロジーズではみている。
ラック内完結型水冷方式は、水冷用の特別な設備を用意する必要がないのに加え、空冷よりも冷却効率がよい水冷方式によって消費電力を抑えたり、「複数ラックに分散して運用していたGPUサーバーを一つのラックに集約して省スペース化できるメリットがある」(谷口逸人・DC-AIインフラインテグレーション統括部マネージャー)とし、生成AI用途での比較的小規模なオンプレミス需要を取り込んでいく考え。
デル・テクノロジーズ
「水冷元年」、商談件数が急増
米Dell Technologies(デル・テクノロジーズ)日本法人は、25年を「水冷元年」と位置づけて水冷サーバーの拡販に力を入れている。生成AI絡みのGPUサーバーの需要増で、日本法人だけでも、24年の水冷サーバーの商談件数は、22年と比べて3倍に増えた。25年に入っても案件数が伸びる勢いは続いており「直販だけでは需要増に応えられない。販売パートナーやOEMパートナーとの一層の協業拡大が不可欠」(水口浩之・インフラストラクチャー・ソリューションズ営業統括本部製品本部システム周辺機器部シニアプロダクトマネージャ)とし、間接販売チャネルの増強によってユーザー企業の需要に応えていく。
(左から)水口浩之シニアプロダクトマネージャ、
岡野家和シニアプロダクトマネージャー、川上潔セールスエンジニア
水冷サーバーは、「生成AIの需要増と、DCの受け入れ体制の状況の二つの要素がそろうことで大きく伸びる可能性が高まる」と、岡野家和・データセンターソリューションズ事業統括製品本部シニアプロダクトマネージャーは見ている。
DCの受け入れ体制については、既存の設備を改修して一部区画で水冷サーバーを受け入れる部分的な対応にとどまるケースと、生成AI向けの水冷GPUサーバーに特化した高規格DCの新設で二極化が進むと、岡野シニアプロダクトマネージャーは予想する。 後者の場合、ラックあたりの電力消費は一般的な業務用サーバーを運用する既存DCに比べて10~20倍必要になる。少しでも電力の消費量を減らすためには、「冷却水の温度が35度超の温水でも十分に冷却できる効率のよさが求められるようになる」(川上潔・OEMソリューション事業本部セールスエンジニア)といい、サーバーメーカーとして温水冷却に対応可能な製品開発に努めていくとともに、DCの設備メーカーとも連携して最適解を求めていく。
25年1月にDC事業者や設備会社、建設会社を対象に、水冷サーバーの説明会を東京と大阪で開催したところ、合わせて500人余りが集まった。「サーバー製品の説明会でこれだけ幅広い業種・業態の関係者が集まるのは異例」(川上セールスエンジニア)と、DC関連業界の関心の高さに舌を巻く。
温水冷却ができるとなれば、真夏でも外気や気化熱で水を冷やす冷却塔のみで対応できるようになり、電力消費の大きいチラーは最小限の稼働で済む。また、現在主流の空冷併用型の水冷方式では、GPUなど主要な発熱部は水で冷やしてしまうため、電源などの周辺部分は室温30度超でも冷やせる可能性があるという。冷却水や室温を高めに設定できるよう設計支援を行うことでGPUサーバーの効率運用を目指す。
レノボ・エンタープライズ・ソリューションズ
PUEを限りなく1に近づける
レノボ・エンタープライズ・ソリューションズは、高度な水冷技術によってDCの電力効率を高められるよう取り組んでいる。DCの電力効率は「DC全体の消費電力」を「IT機器の消費電力」で割ったPUE値で表されることが多い。PUE値は1に近ければ近いほど効率がよく、逆に数値が大きいほど、空調などコンピューティングリソース以外の設備にエネルギーが割かれていることを示す。同社では空冷併用型水冷方式でPUE1.2以下、完全水冷では「限りなく1に近い値を視野に入れている」(早川哲郎・インフラストラクチャー・ソリューションズ・グループソリューションアーキテクト本部本部長)としている。
早川哲郎 本部長
高負荷状態のGPUサーバーを空冷で冷やそうとすれば大口径のファンの数が増えて、ファンが消費する電力も増える。10年前は高負荷状態のファンの消費電力がサーバー全体の7%を占める程度だったのに対して、24年には33%まで増えている。大量に吐き出される温かい空気を冷やすため空調の消費電力も増えてしまうため、効率のよい水冷方式を取り入れる動きが活発化している。
同社では、45度の温水でGPUやCPUの温度を80度以下に保つ技術開発に取り組んでおり、「冷却水の配管の効果的な取り回しで、温水でかつ低い水圧、少ない流量でも十分に冷却する」(同)ことでPUE値の低減を目指す。空冷併用型の水冷方式では、GPUやCPUなど発熱量が多い部分を中心に全体の7~8割の熱を水で冷やし、残り2~3割を空気を当てて冷やす。主要部分を水で冷やすことで、設計上はDCの室温が30度の高温でも運用が可能であり、100%水冷で冷やす完全水冷では「DC室内の空調なしでも理論上は運用が可能」(同)としている。
温水冷却では45度の温水をサーバーに送り、55度で戻すことを想定している。55度の温水を40度に下げるのであれば、外気や気化熱だけで水を冷やす冷却塔のみでカバーできる。チラーを使って水を冷やしすぎるとサーバー内で結露するリスクが高まることを考慮すれば、低すぎず高すぎない水温管理が最適運用のかぎを握る。レノボが持つ「高度な水冷技術と省電力化、安定稼働のノウハウをユーザー企業やSIer、DC事業者に訴求していく」(同)ことで販売数を伸ばす方針だ。