ソニーコンピュータサイエンス研究所(CSL)は,コード進行やテンポ,拍子など楽曲の時系列メタデータを基にして複数の楽曲のリミックスを容易にする技術を開発,2007年6月8日の同研究所公開「Sony CSL Open House 2007」で実演を行った。リミックスは複数の曲の小節単位で組み合わせ可能である。リミックスしたい楽曲のある小節を指定すると,他の楽曲の中からそれに合う小節の候補を自動的に推薦する。テンポやキーが異なる小節同士をリミックスする場合でも,同システムが自動的にテンポやキーを合わせて再生する。
今回の技術は,楽曲メタデータのオーサリング・システム「MetaPong!」および楽曲のリミックス・エンジン「MMG(MusicMosaicGenerator)」の二つの部分から成る。今回のシステムが特徴的なのは,楽曲のメタデータをシステム側で100%完全に認識・判別しようとするのではなく,ユーザー側にある程度,メタデータの修正・入力をゆだねる点である。
今回の技術を開発したCSL インタラクションラボラトリー アソシエイト リサーチャの宮島 靖氏によると,「現在の楽曲認識技術では,キーや拍子,小節の始まりなどを完全に判別することは非常に難しい。また,コード進行についても8割程度までしか自動認識できない。認識技術の精度を向上させる研究に何年も費やすより,ユーザーの力を借りた方が得策と判断した」という。楽曲の中で転調やテンポの揺れ,拍子の変更などがある場合でも,ユーザー側の手助けを利用すればメタデータの精度を向上できる。オーサリング・システムで作成したメタデータは,ネットワークを介して他のユーザーが流用できる。一種のユーザー生成コンテンツであるといえる。メタデータの容量は数Kバイトである。
得られたメタデータを基に,リミックス・エンジンのMMGがリミックス作業を支援する。どの小節同士を組み合わせるかは,主にコード進行を基に判断しているという。完全に同じコードだけでなく,代理コードなどを用いている小節も推薦対象にしている。
今回の技術は,3年ほど前から研究を開始したという。楽曲の波形データなどを用いずにリミックスを手軽にできるようにするため,当初の数年は楽曲のリミックスに必要なメタデータの種類,形式の検討に費やした。宮島氏は2年ほど前にソニー本社からCSLに入所,ちょうどそのころに今回のシステムに必要なメタデータのフォーマットが出来上がった。その後,CSL内でオーサリング・システムやリミックス・エンジンの開発に着手し,最近になってようやくシステムとして完成した。「システムとして一段落してきたため,次は何らかの形で事業化を検討したい」(宮島氏)とする。