企業によるデータ活用がITの重要なテーマとなり、アマゾンウェブサービスやグーグル、マイクロソフトなどのクラウドベンダーは、各種データウェアハウスやデータレイクのソリューションに力を入れている。ところがクラウドベンダー純正のサービスがあるにも関わらず、欧米では「Snowflake」や「Databricks」といった新しいサービスが注目を集め、市場から高い評価を得ている。既存のデータ活用ソリューションと何が違い、なぜ注目されているのか。そして日本では今後どのように展開されるのか。それぞれを提供するスノーフレイク、データブリックスの日本法人とパートナーに話を聞いた。
(取材・文/谷川耕一 編集/日高 彰)

 企業のデジタル変革では、データ活用が鍵となる。デジタル化で集められたデータを分析し、新たな知見を得てそれを使いビジネスに価値をもたらす。

 データの活用自体は1990年代には既にデータウェアハウス(DWH)の最初のブームがあり、その後も何度かビジネスインテリジェンス(BI)が注目され、2010年頃からはビッグデータが新たなキーワードとなった。そして構造化データに加え、非構造化・半構造化データなどあらゆるデータを蓄積するデータレイクにも注目が集まった。

 しかし、ため込んだ膨大なデータを活用するのは容易ではなく、データレイクの取り組みが上手くいった企業は少ない。当初のデータレイクはNoSQLデータベースやHadoopなどの新しい技術を必要としたため、多くの企業で経験のないそれらの基盤をオンプレミスに構築し運用するのは容易ではなかった。また、データが爆発的に増えたことで十分な処理性能を発揮するのも簡単ではなかった。

 オンプレミスのデータレイクはなかなか上手くいかなかったが、クラウドの拡張性を生かし、膨大なデータを活用する環境をクラウド上で構築する動きが注目されている。クラウドであれば運用管理に手間がかからず、性能や容量が足りなければ拡張するのも容易だ。

Snowflake
クラウドのメリットを100%引き出すデータプラットフォーム

クラウドに最適化して
ゼロから構築されたDWH


 米スノーフレイク共同創業者のブノワ・ダジビル氏とティエリ・クルアネス氏は、以前オラクルで大企業のDWH統合案件などを支援しており、オンプレミスベースの大規模DWHの初期費用が高額で、ノード追加にも多大な手間がかかるのが課題だと感じていた。一方スノーフレイクを創業する2012年頃から、DWHをクラウドで構築する動きも出始めていた。当初のクラウドDWHはオンプレミスのものをクラウド上に載せただけで、クラウドの本質的な良さは発揮し切れていなかった。そこで最初からクラウドに最適化した製品を提供しようと考え、Snowflakeを生み出す。

 「Snowflake以外のクラウドDWHの仕組みは、大量データのローディングもダッシュボードからの多くのユーザーアクセスも、データサイエンティストのアドホックな分析も、一つのクラスタで捌こうとしている。これには無理がある」と言うのは、スノーフレイク日本法人の本橋峰明・ソリューションアーキテクトだ。クラスタが一つだけだと、たとえばデータサイエンティストが重たい処理を実行すれば、他との競合が発生し処理は遅くなる。