静止画撮影時の手ブレを画像処理によって抑える機能を備えて注目を集めている「FOMA N902i」(関連記事,サンプル画像あり)。NECはこのほかにも主に3つ,新機能などを同機種に追加した(図1)。(1)HTMLメールの自動修飾機能(図2),(2)使い勝手の向上させるソフトウエア(図3),(3)人気ゲーム・ソフト「ダービースタリオン」のプレ・インストール,である(図4)。いずれも前機種の「N901iS」は備えていなかった。原価低減については,液晶パネルを前機種と同じにしたり,ソフトウエアの再利用率を高めたりして「前機種より低く抑えた」(同社)という。
静止画向けの手ブレ補正とHTMLメールの自動修飾機能について,NECの開発陣に話を聞いた。
——静止画撮影時の手ブレを補正するため画像を4枚重ね合わせるということだが,具体的にはどう処理しているのか。
NEC 静止画の手ブレ補正処理は,撮像素子後段の画像処理LSIが実行する。このLSIは,ホワイト・バランスの調整や,画像を200万画素から400万画素に変換する画素補間なども担う。さらに後段には「ARM11」を集積したアプリケーション・プロセサ「OMAP2」がある(関連記事)。OMAP2は「PictMagic」と呼ぶ画質補正やJPEG符号化を実行する。
今回採用した画像処理LSIは,あるメーカーが新規に開発した。もともと写真シール機(いわゆるプリクラ)のフレームのような画像合成を想定して高い処理能力を備えていた。これが静止画撮影時の手ブレ補正に使えると判断した。「FOMA D902i」や「F902i」は,N902iと同じく撮像素子に「スーパーCCDハニカム」を使うが,画像処理LSIは両機種と異なる品種である。
手ブレ補正自体に要する処理時間は2秒~3秒で実用上十分と考えている。このためOMAP2でPictMagicを実行後,ユーザーに撮影結果(いわゆるアフタービュー)を見せるようにした。画像の重ね合わせに用いる特徴点抽出の処理方法を工夫するなどして高速化した。
補正に用いる4枚の画像は,縮小せずに特徴点を抽出している。200万画素の静止画を4枚,一時的に蓄積しなければならない。そこでシンクロナスDRAMを追加した。シンクロナスDRAMは,画像処理LSIと同じ半導体パッケージに封止している。
——動画撮影時の手ブレは補正できるのか。
NEC 1フレームがQVGA(7.7万画素)で15フレーム/秒の動画を補正可能にした。動画撮影時の手ブレ補正機は既に他社が量産しているが,カメラを左右にパン(水平移動)させたときの画質には自信がある。
動画向け手ブレ補正はビデオ・カメラで一般的な方法を採った。1フレームは7.7万画素だが,実際には撮像素子の中心部の7.7万画素に加えて,その周囲の画素も撮影に使う。少し多い画素数で撮っておき,手ブレによって被写体が動くのに合わせて7.7万画素の1フレームを切り出す。なお動画撮影時には,近傍画素の出力電荷を混合することで感度を高める,画素加算を実行している。
——「おまかせデコメール」の仕組みを教えてほしい。
NEC HTMLメール「デコメール」は,10代~20代の女性を中心とした若年層に好評な機能だ。しかし,作成に手間がかかるので誰でも手軽に使えるわけではない。何種類かの雛型を用意して選んでもらう方法もあるが,それではお仕着せになりかねない。そこで,送信する電子メールの内容に応じて,動的に装飾を変えてユーザーに提示すればよいと考えた。
電子メールの内容分析には,徳島大学発のベンチャー企業,言語理解研究所が開発した「感情理解エンジン」のアルゴリズムを用いた。「感情」は全部で17分類ある。各分類に送信メールを当てはめるとき,最も優先する「感情」は「緊急」。次に「好き」「楽しい」「怒り」など,その後に「質問」など,最後に「お知らせ」などである。
各感情分類で用いる画像は8種類ある。加えて背景色や文字色が複数種類から選べる。これらを使った膨大な組み合わせの中から,ある方法に沿ってユーザーに示す3通りを絞り込む。ただし,具体的な絞り込み方法は明かせない。
感情理解エンジンは,前機種で受信した電子メールの内容分析に用いていた。待ち受け画面に表示する新着メールのアイコンのそばや,受信メールの一覧中に「感情」のアイコンを表示して,どんな内容かユーザーが想像できるようにするためだ。今回のN902iも同じ機能を備えている