正式版の公開から1年しか経っていないにも関わらず、「Uber」や「Airbnb」といった注目の新興企業や、トヨタ自動車のような巨大企業がこぞって採用し、米IBMが「データ分野で今後10年間の最重要オープンソースソフトウエア（OSS）」と呼んで、3500人もの研究者や開発者を投入し始めたビッグデータ処理ソフトがある。「Spark（スパーク）」だ。

　2015年6月15～17日（米国時間）には米国サンフランシスコ市でユーザーカンファレンス「Spark Summit 2015」が開催され、2000人ものユーザーが集まった（写真1）。

写真1●2000人を集めた「Spark Summit 2015」
[画像のクリックで拡大表示]

　同カンファレンスでは、タクシー配車サービスの米Uber Technologies、民家をホテルとして貸し出す米Airbnb、トヨタ自動車の米国法人、中国Baidu、さらには米中央情報局（CIA）などが、Sparkの活用事例を公表。IBMもこのイベントに合わせて、3500人の研究者や開発者をSpark関連のプロジェクトに従事させると発表した。

　Sparkは米カリフォルニア大学バークレー校で開発が始まったOSSで、現在は同校の研究者が起業したスタートアップ、米Databricksが開発を主導する。正式版となる「Spark 1.0」が公開されたのはわずか1年前、2014年5月のことである。

　それにも関わらずSparkは、ビッグデータ処理ソフトの定番「Hadoop」に続く、次なるビッグデータ処理の主役に目され始めている。なぜSparkがこれほど注目を浴びるのか。Spark Summit 2015で明かされたユーザーの声を元に、Sparkの今に迫る。