リミックス・ツールの画面。画面上部がリミックス用の領域,下側がリミックス対象となる候補の楽曲である。時系列でメタデータが表示されている。
リミックス・ツールの画面。画面上部がリミックス用の領域,下側がリミックス対象となる候補の楽曲である。時系列でメタデータが表示されている。
[画像のクリックで拡大表示]
楽曲の時系列メタデータの拡大画像。上段に,イントロかサビかなどを示す「メロディ・タイプ」が,下段にコード進行がそれぞれ色別に示されている。
楽曲の時系列メタデータの拡大画像。上段に,イントロかサビかなどを示す「メロディ・タイプ」が,下段にコード進行がそれぞれ色別に示されている。
[画像のクリックで拡大表示]
実演では,Pet Shop Boysの「Go West」と,YUKIの「メランコリニスタ」などをリミックスしていた。Go Westのある小節を選択しクリックすると,それに合う小節の候補がハイライト表示される。
実演では,Pet Shop Boysの「Go West」と,YUKIの「メランコリニスタ」などをリミックスしていた。Go Westのある小節を選択しクリックすると,それに合う小節の候補がハイライト表示される。
[画像のクリックで拡大表示]
リミックスする小節を編集画面に持ってきたところ。そのままでは長さが合わないため,ドラッグして小節の長さを合わせる。リミックス再生時には,システム側が自動的にテンポやキーなどを合わせる。
リミックスする小節を編集画面に持ってきたところ。そのままでは長さが合わないため,ドラッグして小節の長さを合わせる。リミックス再生時には,システム側が自動的にテンポやキーなどを合わせる。
[画像のクリックで拡大表示]
楽曲の時系列メタデータのオーサリング・ツール「MetaPong!」の画面。
楽曲の時系列メタデータのオーサリング・ツール「MetaPong!」の画面。
[画像のクリックで拡大表示]

 ソニーコンピュータサイエンス研究所(CSL)は,コード進行やテンポ,拍子など楽曲の時系列メタデータを基にして複数の楽曲のリミックスを容易にする技術を開発,2007年6月8日の同研究所公開「Sony CSL Open House 2007」で実演を行った。リミックスは複数の曲の小節単位で組み合わせ可能である。リミックスしたい楽曲のある小節を指定すると,他の楽曲の中からそれに合う小節の候補を自動的に推薦する。テンポやキーが異なる小節同士をリミックスする場合でも,同システムが自動的にテンポやキーを合わせて再生する。

 今回の技術は,楽曲メタデータのオーサリング・システム「MetaPong!」および楽曲のリミックス・エンジン「MMG(MusicMosaicGenerator)」の二つの部分から成る。今回のシステムが特徴的なのは,楽曲のメタデータをシステム側で100%完全に認識・判別しようとするのではなく,ユーザー側にある程度,メタデータの修正・入力をゆだねる点である。

 今回の技術を開発したCSL インタラクションラボラトリー アソシエイト リサーチャの宮島 靖氏によると,「現在の楽曲認識技術では,キーや拍子,小節の始まりなどを完全に判別することは非常に難しい。また,コード進行についても8割程度までしか自動認識できない。認識技術の精度を向上させる研究に何年も費やすより,ユーザーの力を借りた方が得策と判断した」という。楽曲の中で転調やテンポの揺れ,拍子の変更などがある場合でも,ユーザー側の手助けを利用すればメタデータの精度を向上できる。オーサリング・システムで作成したメタデータは,ネットワークを介して他のユーザーが流用できる。一種のユーザー生成コンテンツであるといえる。メタデータの容量は数Kバイトである。

 得られたメタデータを基に,リミックス・エンジンのMMGがリミックス作業を支援する。どの小節同士を組み合わせるかは,主にコード進行を基に判断しているという。完全に同じコードだけでなく,代理コードなどを用いている小節も推薦対象にしている。

 今回の技術は,3年ほど前から研究を開始したという。楽曲の波形データなどを用いずにリミックスを手軽にできるようにするため,当初の数年は楽曲のリミックスに必要なメタデータの種類,形式の検討に費やした。宮島氏は2年ほど前にソニー本社からCSLに入所,ちょうどそのころに今回のシステムに必要なメタデータのフォーマットが出来上がった。その後,CSL内でオーサリング・システムやリミックス・エンジンの開発に着手し,最近になってようやくシステムとして完成した。「システムとして一段落してきたため,次は何らかの形で事業化を検討したい」(宮島氏)とする。