ソフトウェアが製品やサービスの価値を高める差別化要素になる、との考え方が広がったことで、自社独自のAI開発に取り組む企業が増えている。そこで課題となるのが、GPUを利用してAIモデルにデータを学習する際、データのコピーや管理に膨大な手間と時間、コストが発生していることだ。ファイルサーバーを中心に企業向けストレージ市場で大きなシェアを握る米NetApp(ネットアップ)は、同社のストレージ基盤をAI向けに進化させることで、「AI開発を止めない」ITインフラを実現しようとしている。
(取材・文/日高 彰)
高価なGPUを遊ばせてはいけない
ネットアップは10年ほど前から、オンプレミスとクラウドのそれぞれに展開したデータ基盤を統合的に管理・運用できる「データファブリック」のコンセプトを打ち出し、ハイブリッド化するストレージインフラをユーザーが意識することなく、必要なデータに素早くアクセスできる環境の提供に力を入れてきた。
神原豊彦チーフテクノロジーエバンジェリスト(左)と藤山智浩本部長
同社のストレージに搭載されるOS「ONTAP」は使い勝手の良さに定評があるが、ハードウェア製品だけでなく、パブリッククラウド向けサービスの形態でもONTAPを提供しており、これを利用すればシステムをクラウドへ移行する際もストレージ環境を一から構築する必要がない。オンプレミスとクラウドでデータへのアクセス権などのポリシーを統一することも容易だ。
AI開発への需要の盛り上がりは、同社のビジネスにも追い風となっているという。ネットアップ日本法人の神原豊彦・チーフテクノロジーエバンジェリストは「従来のソフトウェア開発では、大勢の開発者が書く1行1行のコードが価値を生んでいたが、AI開発では、企業が保有する膨大なデータがそれに代わる」と指摘。AIが出力する洞察が企業に価値をもたらせるかどうかは、データの量と正確性にかかっていると説明した。
このため、ストレージ製品には、従来以上に高い性能が要求されるようになっている。AIの学習に用いるGPUは依然として流通量が限られ高価だ。データの入出力がボトルネックとなって、GPUが仕事をすることなく待機している時間があっては、開発プロセスが止まるばかりか、資産の利用効率の面でもデメリットが大きい。AIモデルは一度開発して終わりではなく、継続的な学習による改善が必要なため、インフラの設計にあたっても、開発プロセスをどれだけ短縮できるかが非常に重要となる。
「NVIDIA DGX」を組み合わせたインフラの
「NetApp AIPod」
7回のコピー、13種のツールを統合へ
ここで課題となるのが、大量のデータをいかに効率的に扱うかだ。例えば、企業が持つ非構造化データを生成AIから参照するためにRAG(検索拡張生成)技術を用いる場合、データをベクトルデータベースに格納するが、ベクトル化によってデータの容量は10倍ほどに増加する。
また、AI開発においては、業務システムからデータを抽出し、データレイクに格納し、学習用のGPUサーバーに接続されたストレージへ移動するといったように、データのコピーや移動が何度も行われる。神原エバンジェリストによると、AI開発に取り組む企業に同社がヒアリングした結果、「平均して7回以上のデータのコピーと移動が発生し、13種類以上のツールが利用されていた」といい、負荷の大きいデータ処理が多数回にわたっていることがAI開発のスピードアップの妨げとなっていると分析。多数のツールを組み合わせて開発環境を構築し、それらを最新のバージョンに保ち続けることも、開発者にとっては負担になっている。
これを解決するため、ネットアップでは新たなデータ処理基盤となる「NetApp AI Data Engine」を昨年発表している。データウェアハウス/データレイク、ベクトルデータベース、学習用のストレージなどを統合したもので、AI開発のプロセスで必要とされるデータ処理を、ストレージ製品側で自動的に行ってくれるイメージだ。製品にGPUを搭載する必要があるため、NetApp AI Data Engineは今後発売する専用の機種で利用可能になる予定としている。
また、本格的なAI開発に着手する前の企業でも、RAGなどの活用を見据えて、リプレースのタイミングでより高性能なストレージに切り替えるケースは増えているという。パートナー営業統括本部パートナー営業第一本部の藤山智浩・本部長は「当社の製品ラインアップは大半がオールフラッシュストレージとなっているが、ここ2~3年での生成AIへの関心の高まりにより、国内の企業でもフラッシュ製品の導入に加速度がついてきている」と話す。
同社では生成AIに取り組むパートナーに向けたワークショップを定期的に開催しており、技術的なトレーニングだけでなく、成功に向けた体制づくりといったビジネス面での支援も行っている。藤山本部長は「AIビジネスの立ち上げは簡単なものではなく、人的なリソースも多く必要だ。ストレージの運用自体はできるだけ省力化して、新たなテクノロジーに人を割ける体制をつくってほしい」と呼びかける。また、ONTAPを扱うエンジニアのコミュニティーは以前から活発で、参照可能な情報やノウハウが豊富であることが、AI開発においてもネットアップ製品の強みになるとアピールする。