スマホや自動車など、インターネットのエッジ側の機器を狙ったAI処理の高速化回路が続々と登場した。深層学習(ディープラーニング)技術で学習させたDNN(ディープニューラルネットワーク)の推論処理の高速実行を主眼に置く。電力当たりの性能向上と、各種のアルゴリズムに対応できる柔軟性の両立を目指し、複数の方式が乱立している。

 パソコンやスマートフォンを世界に広めただけではない。米Apple社の採用で市場が一気に広がった技術は数多い。GUIやマルチタッチといったユーザーインターフェース、音楽やソフトの配信サービス、「0402」サイズの電子部品に目新しい実装技術まで、枚挙にいとまがない。そのリストに、また新たな項目が加わるかもしれない。今回の焦点は人工知能(AI)用の半導体だ(図1)。

図1 エッジ側の推論を専用回路で高速化
図1 エッジ側の推論を専用回路で高速化
スマートフォンや自動車などエッジ機器で、ディープニューラルネットワーク(DNN)を使った推論処理を高速に実行するための専用回路の採用が相次いでいる。DNNの学習を実行するクラウドサーバーと異なり、リアルタイム処理や低電力動作が重視される用途である。GPUやDSPで処理するよりも高速・低電力にすることを狙い、DNN処理を専用に実行するアクセラレーターや、DNN以外の処理も高速化できる独自方式のプロセッサー、高速・低電力を追求した2値化ニューラルネットの活用など、いくつもの手法が登場した。
[画像のクリックで拡大表示]

 Apple社は、2017年9月に出荷を始めた新型iPhone向けのアプリケーションプロセッサー「A11 Bionic」に、「Neural Engine」を組み込んだと発表した(図2)。CPUコアの指示を受けて、深層学習技術を用いたDNN(ディープニューラルネットワーク)の推論処理を高速に実行する回路と見られる注1)。チップを開封したテカナリエによれば、全体の面積の10%強を占めるという。

注1)Neural Engineは2コア構成で、600GOPS (1秒間に最大6000億回の演算処理)を実行でき、「Face ID」や「アニ文字」といった機能の実行に使うという。Apple社は「特定の機械学習アルゴリズムを想定して設計」したと表明しており、Neural Engineという名称からニューラルネットの処理に使えると考えるのが自然だろう。なお、同社はソフトウエアの開発環境の一環として、学習済みニューラルネットの実装に使う「BNNS(Basic neural network subroutines)」を提供している。CNNを構成する畳み込み層やプーリング層などを記述でき、同社の機械学習モデルの実行環境「CoreML」の下位に位置付けられている。

図2 DNN処理の専用回路を組み込む
図2 DNN処理の専用回路を組み込む
テカナリエは、米Apple社のiPhone向けアプリケーションプロセッサー「A11 Bionic」を開封し、ディープニューラルネットワーク(DNN)のアクセラレーター回路と見られる「Neural Engine」 の位置を特定した。近接するSRAMと合わせて全体の面積の10%強を占める。なお、同じくA11 Bionicを開封したカナダTechInsights社は、Neural Engineが特殊なDSPである可能性を指摘している。(写真:テカナリエ)
[画像のクリックで拡大表示]

 スマホでは、同様な回路を採用する動きが早くも広がりつつある。中国Huawei Technologies社は2017年内に出荷する「Mate 10シリーズ」用のSoC「Kirin 970」に「NPU(Neural-network Processing Unit)」を内蔵したと表明注2)。米Google社は、2017年10月にベータ版を公開したOS「Android 8.1」の新API「Neural Networks API(NNAPI)」で、専用のニューラルネット用ハードウエアによる高速化を利用できるとした注3)

注2)NPUの演算性能は16ビット浮動小数点の場合に1.92TFLOPS。「同じAI応用処理を実行する場合、4つの『Cortex-A73』コアを使用するのと比べて、約50倍の電力効率と、約25倍の処理性能が得られる」(ファーウェイ・ジャパン)という。

注3)Google社が2017年10月に発売したスマホ 「Pixel 2」は、同社が独自に設計した画像処理用コプロセッサー「Pixel Visual Core」を搭載しており、同社のカメラアプリの高コントラスト化機能「HDR+」や、同社の深層学習フレームワーク「TensorFlow」で記述した機械学習機能の高速化に使えるとする。なおNNAPIのランタイムは、GPUやDSPによる高速化も可能という。

 話はスマホにとどまらない。インターネットのエッジ側に位置するさまざまな機器を想定した推論専用回路が次から次へと提案されている。米NVIDIA社は、幅広いIoT機器で利用できる回路「NVDLA(NVIDIA Deep Learning Accelerator)」を、2017年9月にオープンソースとして公開。デンソーは、同月設立の子会社エヌエスアイテクス(NSITEXE)の自動運転車向け新型プロセッサー「DFP(Data Flow Processor)」が、早ければ2017年内にも初の採用契約にこぎつけるとする。米Microsoft社はヘッドマウントディスプレー「HoloLens」の次期製品向けに「AIコプロセッサー」を開発中だ1)、注4)

注4)このほか、Intel社傘下の米Movidius社は新型画像処理チップ「Myriad X」に「Neural Compute Engine」を組み込んだと2017年8月に明らかにした。英Imagination Technologies社は、ニューラルネットワーク処理用アクセラレーターのIPコアを2017年9月に公表。英Arm社は2017年7月の組織改編で機械学習を担当するグループを発足させ、学習や推論向けの専用アクセラレーター(IPコア)の開発にも取り組んでいるとするが、「製品化やその時期は明言できない」(同社)という。