富士通研究所（富田達夫社長）は、11月19日、長期間にわたって蓄積したデータと、リアルタイムに流れる更新頻度の高いデータを、同時に高速処理する技術を開発したと発表した。

　高速データ処理には、定期的に蓄積した大量データの処理にすぐれるバッチ処理と、株取引などのリアルタイムに流れるデータの処理にすぐれるストリーム処理がある。しかし、バッチ処理は処理のたびにすべてのデータを読み直す必要があるので、演算結果を得るまでの時間が長く、更新頻度の高いデータ処理には向いていない。またストリーム処理も、データ量に比例して演算時間が長くなってレスポンスが悪くなることから、蓄積した大量データの処理には不向きだ。

　富士通研究所は、これら既存のデータ処理技術では困難だった長期間集計と高更新頻度の両立を実現するデータ処理技術「高速パターン照合技術」と「演算スナップショット管理技術」を開発した。

　「高速パターン照合技術」は、通常2段階の処理が必要なデータ処理をパターン照合によって1段階に簡素化し、入力されるストリームデータから必要な項目だけを直接取り出すことで、高速な処理を実現する。CSVなどの定型データに加えて、繰り返しや階層構造を含むXMLなどの非定型データに対応している。

　「演算スナップショット管理技術」は、データの読み直しや演算のやり直しを一切行うことなく、演算結果を高速で返す技術。入力されるストリームデータに対し、通常は時系列順にメモリ上にデータを保持するが、この技術ではあらかじめ決められた手順に従ってソートなどの必要な演算を行いながらデータを保持。集計期間に依存しない高速なレスポンスを実現する。

　説明会で、ソフトウェアシステム研究所インテリジェントテクノロジ研究部の稲越宏弥主任研究員は、開発したデータ処理技術について、「集計期間と更新の頻度に左右されることなく、安定したデータ処理のレスポンスを提供する。既存のオープンソースの複合イベント処理（CEP）エンジンと比べて、約144倍の高速化を実現した」とアピールした。

　今後は、2013年度に、新技術を富士通のビッグデータ活用の製品群である「Big Data Platform」「Big Data Middleware」に搭載することを目標としている。（真鍋武）