2014年11月に開催した日経BP社主催セミナー「半導体ストレージサミット2014~エンタープライズ分野の主役に躍り出たフラッシュメモリー~」から、楽天グループのプライベートクラウド基盤を担当する高泉 公一氏の講演を、日経BP半導体リサーチがまとめた。今回から3回にわたって紹介する。(日経BP半導体リサーチ)

 楽天は1997年に設立、2000年に株式公開した。私が入社した2003年ごろの社員数は200~300人ぐらいだったが、2013年12月末時点で1万867人。約10年で1万人以上増えたことになる。

 提供しているサービスは多岐にわたる。一番大きいのは、インターネット上のショッピングモール「楽天市場」である。ネット証券や銀行などのほか、最近は、電子書籍のカナダKobo社を傘下とした。

 楽天のビジネスモデルは、ユーザーにさまざまなサービスを1つのIDで便利に使ってもらうとことを軸としている。会員数は9556万人(2014年9月末時点)で、もう少しで1億人を突破しそうだ。流通総額は5.1兆円(2013年12月末時点)で、これにはeコマース(電子商取引)も含まれている。

プライベートクラウドの規模と種類

 これら楽天の業務を支える仮想マシンの数は1万6000台以上、物理サーバー(ホスト)の数は500台以上である。ストレージの容量は、プロビジョニングされているのが2.8Pバイトで、そのうちオールフラッシュは180Tバイトである(図1)。一方、HDDは2.7Pバイトで、これにはハイブリッド型も含まれる。

図1●Scale of Virtual Storage
図1●Scale of Virtual Storage
2つのデータセンターにおける2014年11月時点の値(Datastore size)。開発環境を含む。DiskはMixを含む

 これら仮想的に見せている容量に対して、物理的なストレージの容量は1.3Pバイトである(図2)。そのうちフラッシュは190Tバイト、HDDは1.1Pバイトである。割合にすると、フラッシュが15%、HDDは85%となる(図3)。

図2●Scale of Physical Storage
図2●Scale of Physical Storage
2つのデータセンターにおける2014年時点11月の値。開発環境は含まない
図3●Flash vs Disk
図3●Flash vs Disk
2つのデータセンターにおける2014年時点11月の値(物理サイズベース)。開発環境は含まない

 楽天のプライベートクラウド「RIaaS」(Rakuten Infrastructure as a Service)で使用しているストレージには、HDDとSSDのハイブリッド型である米Hewlett-Packard(HP)社「3PAR StoreServ 10000」を4台、オールフラッシュのHP社「3PAR StoreServ 7450」が1台、米Pure Storage社製品が3台、といったものがある。このほか、HP社「StoreVirtual」(旧「LeftHand」)によるPCサーバーと2.5インチのSSDにソフトウエアを加えてオールフラッシュのストレージとしたものも、一部で使用している。

 クラウド以外では、米Violin Memory社のオールフラッシュ製品を楽天トラベルで使用しているほか、基幹データベースには米EMC社の「V-MAX」にEFD(Enterprise Flash Drive、同社SSDのエンタープライズモデル)を搭載したハイブリッド型を使用している。ここではBCP(事業継続計画)に則って、データベース自体はSSDに載せ、バックアップはHDDに取るという構成を取っている。検索システムの一部は、PCサーバーと2.5インチSSDを組み合わせたものを使用している。

 本公演では、前者のクラウド環境について述べる。