CEATEC2017で気になった「音場のズーム合成技術」


どもども、川口(@CRI_kawaguchi)です。
先週の出来事ですが、CEATECに行ってきました!

実は初日の時点では、行くつもりなかったんです。(※ イベントは4日間開催)
以下の記事を見たときに『体験しに行くしかねぇ!』ということで急遽、見学へ。

> KDDI総合研究所、位置・アングル・空間の音場がズレない「音のVR」開発 CEATECに展示

「音のVR」
いいですね。ワクワクします。
個人的な感想満載のレポートですが、どうぞ。


■ どんなもの?

CEATEC2017_KDDI

・iPadで360度パノラマの動画を再生したまま左右にスクロールや、任意の場所を拡大することが可能なアプリで、その『見えているエリアに対して、音場が追従する』のを手軽に作れるというシステム。

仕組みを聞くと全天球カメラを中心に、周囲に6方向に向けたマイクを設置した機材を用意し、データとしては
・全天球カメラの映像をパノラマにしたもの
・モノラル音声6本
のみという、かなりシンプルなもの。再生アプリにこれらのデータを入れるだけ。

CEATEC2017_KDDI_camera

視聴したデモは2つ、木管5重奏とサッカーボールのパス回し。


■ 音場の再現精度

かなり高い。
向いている方向によっては2〜3度くらい音が右にずれている気もしたけれど、気にする人は少なさそう。ボールのパス回しのやつは定位がわかりやすく、自分の背中側にあるボールが蹴られた音も、後ろにあるように感じた。

6本のマイクの音声を、隣り合った2つの音、6ペアとして考え、位相の差を見てステレオに合成しているとのこと。ズームインした場合は左右の端の方から音が切り捨てられていくので、指向性が強くなった感じの音になっている。画面外(反対側)の音は使っていないとのこと。それが意外に思うくらい、後ろの音と認識できた。映像による錯覚もあると思う。


■ 応用できそう?

もしゲームなりアプリ内で360度パノラマの映像を使い、ズームとかする必要があるならばベストに近いソリューションだと思う。
アドベンチャーゲームの探索パートで遠方の特定のキャラの声を聞き取る、みたいなシチュエーションに最適!(限定的すぎる)


■ メリット・デメリット

わかりやすい大きなメリットは2つ
・ambisonicsでは表現不可能な事ができる。複雑な計算もいらない
・データの作成がものすっっっっっごく手軽。ambisonicsは大変。

デメリット
・水平方向のみ(首を横に傾けたりすると破綻する)
・データが6本というのはFOAより大きい。HOAよりは小さい。
・他、定点のみとか、ambisonicsのデメリットとほぼ同じ


■ 感想

自分が知らないだけかもしれませんが、今までありそうでなかったアプローチな気がする。

特定の方向の音を注意して聴く、というカクテルパーティ効果も疑似体験できて意外と面白い。そして制作コストが低い。ambisonicsのデータ作成と比較して、手軽さがすごい。多分1/10くらいの手間でできちゃう。体験の質は同等か、ズームに関してはそれ以上。

手軽に作れる、ってのが一番いいところだと思っていて、上下方向とか不要なVR実写コンテンツなら、もう全部これでも良いんじゃないかな?
KDDIさんが今後、これをどういうサービスにしていくのか楽しみですね!


コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です