企業によるデータ活用がITの重要なテーマとなり、アマゾンウェブサービスやグーグル、マイクロソフトなどのクラウドベンダーは、各種データウェアハウスやデータレイクのソリューションに力を入れている。ところがクラウドベンダー純正のサービスがあるにも関わらず、欧米では「Snowflake」や「Databricks」といった新しいサービスが注目を集め、市場から高い評価を得ている。既存のデータ活用ソリューションと何が違い、なぜ注目されているのか。そして日本では今後どのように展開されるのか。それぞれを提供するスノーフレイク、データブリックスの日本法人とパートナーに話を聞いた。
（取材・文／谷川耕一　編集／日高 彰）

　企業のデジタル変革では、データ活用が鍵となる。デジタル化で集められたデータを分析し、新たな知見を得てそれを使いビジネスに価値をもたらす。

　データの活用自体は1990年代には既にデータウェアハウス（DWH）の最初のブームがあり、その後も何度かビジネスインテリジェンス（BI）が注目され、2010年頃からはビッグデータが新たなキーワードとなった。そして構造化データに加え、非構造化・半構造化データなどあらゆるデータを蓄積するデータレイクにも注目が集まった。

　しかし、ため込んだ膨大なデータを活用するのは容易ではなく、データレイクの取り組みが上手くいった企業は少ない。当初のデータレイクはNoSQLデータベースやHadoopなどの新しい技術を必要としたため、多くの企業で経験のないそれらの基盤をオンプレミスに構築し運用するのは容易ではなかった。また、データが爆発的に増えたことで十分な処理性能を発揮するのも簡単ではなかった。

　オンプレミスのデータレイクはなかなか上手くいかなかったが、クラウドの拡張性を生かし、膨大なデータを活用する環境をクラウド上で構築する動きが注目されている。クラウドであれば運用管理に手間がかからず、性能や容量が足りなければ拡張するのも容易だ。

Snowflake
クラウドのメリットを100％引き出すデータプラットフォーム

クラウドに最適化して
ゼロから構築されたDWH

　米スノーフレイク共同創業者のブノワ・ダジビル氏とティエリ・クルアネス氏は、以前オラクルで大企業のDWH統合案件などを支援しており、オンプレミスベースの大規模DWHの初期費用が高額で、ノード追加にも多大な手間がかかるのが課題だと感じていた。一方スノーフレイクを創業する2012年頃から、DWHをクラウドで構築する動きも出始めていた。当初のクラウドDWHはオンプレミスのものをクラウド上に載せただけで、クラウドの本質的な良さは発揮し切れていなかった。そこで最初からクラウドに最適化した製品を提供しようと考え、Snowflakeを生み出す。

　「Snowflake以外のクラウドDWHの仕組みは、大量データのローディングもダッシュボードからの多くのユーザーアクセスも、データサイエンティストのアドホックな分析も、一つのクラスタで捌こうとしている。これには無理がある」と言うのは、スノーフレイク日本法人の本橋峰明・ソリューションアーキテクトだ。クラスタが一つだけだと、たとえばデータサイエンティストが重たい処理を実行すれば、他との競合が発生し処理は遅くなる。

 
　Snowflakeでは、ワークロードごとにクラスタを用意する。「コンピュートレイヤーとストレージレイヤーが分かれており、一カ所のストレージに対し複数のクラスタからアクセスする」（同）。これで競合は発生せず、どのワークロードにも独立した形で必要な処理性能が確保できる。性能が足りなければ、足りないワークロードのクラスタノードを追加するだけだ。Snowflakeは、一つのテーブルも内部的には数千、数万のファイルで構成される。細かく分割することで、クラウド本来の拡張性を最大限に生かせるようになっている。これはオンプレミスのものをクラウド化している製品では、真似のできないものだ。
 
　「これまでのDWHのシステムは、一度起動すると気軽に落とすことはできず、スペック変更も簡単ではない。Snowflakeは利用しない時には簡単に落とすことができ、スペック変更も気軽に行える」と本橋アーキテクトは説明する。これと従量課金モデルを合わせれば、コストの最適化も図りやすい。またクラウドで懸念されるセキュリティに関しては、Snowflakeの先行顧客に米国金融大手のキャピタル・ワンがあり、その要件を満たすよう強化してきた。結果的に海外のセキュリティおよびコンプライアンスに関する各種認証も取得し「金融機関でも安心して利用できる」と自信を見せる。

　米スノーフレイクは、米国時間の今年9月16日にニューヨーク証券取引所に上場した。初日終値は253.93ドル、時価総額は700億ドル（約7兆3500億円）にもなり、米国ソフトウェア業界で最大規模の株式新規公開となった。市場からこれだけ評価されるのは「Snowflakeの製品がゼロからクラウド用に最適化され開発されたからだろう」と自己分析する。その製品をSaaSで提供することで、データベース管理者の作業も必要ない。これらの理由で、データ活用を真剣に考える世界中の企業から支持を集めているのだという。

Snowflakeに一早く注目する
有力パートナー

　NTTデータは今年9月16日、スノーフレイクとの資本業務提携を発表した。NTTデータ AI＆IoT事業部 ソリューション統括部 ソリューション担当の村山弘城部長は「Snowflakeは従来のDWHでは難しかった、シングルデータベースでのデータ一元管理と、従量課金によるコスト最適化を実現できる優れたソリューションだ」と語る。しかし、スノーフレイクは2019年11月に日本に参入したばかりで、導入実績、技術者がまだ少ない。多くの顧客に活用してもらい、価値創出までを支援するには、両社のサービスと知見を融合し顧客サポート体制、技術者育成を強化するのが有効と考え、資本業務提携に至った。協業は日本だけにとどまらず、グローバルでのパートナーシップ強化も進める。

　従来のDWHのアーキテクチャーでは、データレイク、DWH、データマートと多重にデータ保持が必要であり、それに伴い複雑なデータ管理が必要だった。この構成では分析業務側の迅速化や柔軟な拡張のニーズには容易に応えられず、コスト面でも負担が発生する。NTTデータではSnowflakeを、これらの制約・課題を解決する「無二のサービス」だと評価する。

　「Snowflakeではシングルデータベースでデータを一カ所で管理し、複数コンピュート・クラスタ群がACID（原子性：Atomicity、一貫性：Consistency、独立性：Isolation、永続性：Durability）を担保しながら共有データを読み書きでき、かつクラスタサイズを即時変更できる、全く新しい思想でゼロから作りあげたサービスだ。極めて柔軟、迅速に拡張が可能」と村山部長。その上で無停止リリースが可能で、随時機能が拡張され、自動バージョンアップされる、クラウドサービスならではの利便性も魅力だという。

　NTTデータではSnowflakeをデータ活用領域の中核テクノロジーと位置付け、その上で「NTTデータのAI・クラウド基盤技術者と、スノーフレイクのスペシャリストを集結した専門体制を設置し、両社が一体となった強固な体制で顧客企業におけるSnowflakeの導入、活用を支援する」。技術者育成にも投資し、グローバルでSnowflake技術者を2021年度までに100人、23年度までに250人以上を育成する計画も立てている。

　クラウドインテグレーターのサーバーワークスも、スノーフレイクとの協業を発表している。現状、AWS上にさまざまなシステムが導入されており、クラウド上のデータ分析基盤ニーズが高まっている。サーバーワークスではデータレイクを構築する環境としてAWSが最適だと考えているが、AWS自体にはクラウドDWHの機能である「Redshift」がある。その上でSnowflakeも取り扱う理由として、「Redshiftはその分析基盤としてとても優れたDWHサービスだが、顧客の分析ニーズによっては必ずしもそれが適さないケースがあり、補完するため」と説明する。

　サーバーワークスでも、Snowflakeの従量課金モデルを評価する。その上で「データベースの思想が新しく、今後ますますデータ量が増える企業のさまざまなニーズに対応できると考えたことが、Snowflakeを選んだ理由」という。Redshiftや、AWS S3上のデータをSQLで分析できる「Athena」など、AWS自体が備えるサービスも提案するが、ショートクエリなど多様なクエリでは性能面でSnowflakeに一日の長がある。サーバーワークスとしてはDWH構築を目的とするのではなく、顧客ビジネスの課題解決を目指してAWS、Snowflakeとのエコシステムを築いていく方針をとる。

データコラボレーションの
プラットフォームも提供

　Snowflakeにはさまざまなデータが蓄積されているため、検索・分析用途だけでなく、従来のデータベースのように、アプリケーションから利用したいというニーズが生まれている。既にリードコミット型のトランザクションはサポートしており、より広いアプリケーションニーズに応えるためトランザクション系機能を強化することになる。

　さらにSnowflakeのユニークな取り組みの一つに「Data Cloud」がある。これは「自分たちのデータだけでなく、クラウド上でデータの権限を解放することでデータをマーケットプレイスから提供し、データコラボレーションを実現するもの」と説明するのは、スノーフレイク日本法人の田中香織・シニアセールスエンジニアだ。

　データを外部と共有しようとすれば、DWHなどからデータを抽出し安全に公開する仕組みを別途構築する必要があった。Snowflakeはクラウド上のサービスであり、機能追加することなく権限解放だけで安全にシェアできる。データのコピーや転送を必要としないので、共有されるデータは常に最新状態に保たれる。「既に200を超えるデータセットがSnowflakeのマーケットプレイスで共有されている」（同）という。Snowflakeユーザーは、これらを数クリックで共有し活用できる。

　スノーフレークは日本でビジネスを拡大するには、パートナービジネスが重要なのを十分に理解している。既に米国本社でもパートナーのリセラーモデル対応を始めており、これは日本市場を意識したものだと本橋アーキテクト。今後はNTTデータやサーバーワークスだけでなく、BIに強い、グローバルに強いなどさまざまなタイプのパートナーを増やすことになる。

[次のページ]Databricks　AI、機械学習のためのビッグデータ基盤