VR未来塾で動作制作などでも使われる空間音声に触れてみた

10月 20, 2019

リアルタイムレポートです。(イベント終了あとも、ちょこちょこと微調整・追加はしていきます。)
議事録と違うので個人的な私見が混ざったりします。
「」で括られていても必ずご本人様のコメントそのままというものでなく意訳多分にあります。
予めご容赦ください。

Peatix様で募集だされていた2019年8月7日19:00から開催の
【VR未来塾「VR動画制作の現場から〜空間音声編〜」】が気になったの参加してみました。

個人的にはやはりVRの360度カメラを組み合わせた動画や体験コンテンツに興味が強いですね。
最近改めてそう感じました。

音声録音NG、写真部分NG、詳細説明は後ほどということで、現在撮影はできない状態(><;
最前列の席は確保してあるけど、、、プロジェクターでかなり大きく表示されており、撮影OKになっても綺麗には撮れないのではないかなと。
会場に対して参加人数は少し多めな印象ですね。着席でギリギリといった具合。

染瀬直人様が運営されており、ファシリテーターも染瀬様ですね。
出版「360度VR動画メイキングワークフロー」をだされているようです。 下記ですね。

youtubeで2016年からyoutubeで180度動画が投稿されました。
VR Creator Lab 180度などもありました。

今回の主なスピーカーは「牛島正人様」
そのロジックデザイン代表/サウンドデザイナー様です。

全体的には「Ambisonics」という”音場再現”手法のお話になるようです。

<基礎知識>
1)LやRといった概念ではなくて、再生する位置数を比較差分して表現していく。
  MSマイキングに近い。

2)A-format 4つの指向性マイクで収録された音。これではまだ360度としての表現は弱い。

3)B-format A-formatを計算して再生する位置を増やして360度としての表現を強めたもの。

Ambisonicsの利点として一番大きいのは、mov/mp4などの動画コンテナに結合でき、既存プラットフォームへの反映が比較的楽に行える。

より詳しくはCEDEC2017でやりました!ということでした。
PDF・セッション内容は公開しています。

ambisonicで収録するには4chマイクおよび、4ch inputできるミキサーが必要。
zoonm H3-VRはミキサー不要で、お手軽なので導入にはオススメ。

ピンマイクやガンマイクの音を、パンナー(音がどこから発生するかを指定するようなもの)を活用していくことで擬似再現していくことも可能です。

<Ambisonic Mixを行うには>

・4ch以上扱えるソフトが必要
・ambisonic pannner
・ambisonic decoder


デコーダーが本当に大事で、これがないと音がわけわからない形で聞こえてきます。

MixSignalFlowはとても大事だと思っています。
これはCEDEC2017の資料にも掲載しています。

これを設定しないと難しいかなと思います。
特に右下のhead-lock、音をまわさないというのを組み合わせていく必要があります。

ということですが、正直見ていてかなり複雑で大変そうですね。音響さん達は凄い。。。

180度撮影は利便性が良く、360度はカメラおいたらあとは隠れろ!ってなるわけですが、180度であれば、後ろに多くの機材を設置できる為に、比較的小スペースで、多彩な表現が可能。(光を当てるライトやレフ版も360度では使えない(見えてしまう)が、180度であれば使える。

指示出しも容易。
※撮影写真数枚見せてもらえたが、これらは非公開情報らしく撮影不可。

<実際Gamuを制作したときの状況>
・Reaperを採用しており、ほぼこれで全て制作している。
・GAMUはSF的な作品なので、実際のカメラで撮影できないような表現や、SFXが多く使われてるので、それに対して空間音を入れる必要がある。
・デコーダーを通して音は確認するようにしている。 デコーダーでは自分の向いている方向というのを認識することで、パンナと自分の向きからどこで音が流れるかが調整される。
・映像が180度でも音は360度でパンナしても問題ない。 実際には振り向けないので正面にくることはないが、音自体は回ってくる。
・HLSを使うことで、左右から回って聞こえてくるものでない、自分が発しているような音を表現している。※自分の口と耳の位置は固定しているので、これを空間配置して周りこむようにしてしまうと、逆に迷子になり違和感がでてしまう。
・空間の音全体(環境音など)をとるならばやはりambisonマイクを活用していきたいが、それ以外の音声データなど、音が発している場所が明瞭になっているものであれば、あと収録でパンナして組み込むなどでも十分可能。
 ┗? 自分の位置が移動するようなゲーム的なものも、パンナ的なものでいけるのか ?

<ざっくり手順>
(1)最終的に出力するバスを作成する(16chの音を最終的に出力する形で制作する。TOA Master)
   ┗モニタリングするものも必要なので、モニター用のchも用意する。
(2)もう1つ必要なのが、head_lockスタジオ(HLS_SFX)を作る必要もあります。
(3)各収録した音を配置していくが、その中でのポイントは、A-FormatをB-Formatに変換していく必要がある。
   ┗エンコーダーを活用していく
   ┗ambisonicは解像度が1〜3次といった音質が違います。
    ┗フーマーというフォーマットを使っていたが、今はambixというフォーマットが主流。
    ┗ambisonicは1〜3次以外にも2つのチャンネルが有り、チャンネルが多く存在するということだけひとまず理解できるといい。
(4)これでもう音は配置できるので、そのあとの出力の方法ですが、注意点としては、Monitorで音を確認してますが、出力するときにMonitorは出力しないでください。
出力するのは2つ。
   ・16chあるambisothのmasterデータを出力
   ・HeadLockステレオは別で出力する

・Youtubeは一次のambisonicとhead-lcokステレオしか反映されないので、ambisonicの16本(16ch)の情報は多すぎる。
   ┗YoutubeにUPLOADするときは、ambisothの上から4本と、Headlockステレオの2本を組み合わせたデータを作成する。
    ┗こうした自由なRoutingをするにはREAPERだったのでREAPERを使っている。

・映像と音の合成をFFMpegを使って実行(コマンドはyoutubeにも掲載されている。)

・META情報を追加する必要がある。
 「Speatioal Media Metadata Injector」を活用し、180度映像であることを伝える必要がある。
   ┗これがないとyoutubeは180度のambisothが活用されていることを認識できない

・大型の360度映像施設への対応
 ┗https://plugins.iem.at/ 無料のambisonic pluginを活用
  ┗この中のAllRADecoderといったものを活用し、立体的にどこから再生するかを調整が可能

・実際のスタジオがない日本で、予算をかけず全方位音声データを扱うことを、ambisonicを活用していくことで解決していけると思っています。

・ambisonic収録の音の配置について、映像とマイクの正面は合わせたいと思っているが、実際にはマイクの影が入るので、少し下げた状態、角度も微調整であればパンナで調整可能なので、それで調整している。
できるだけ合わせることはしたい。(特にyoutubeであげる一次解像度の音では30度と45度の音を聞き分けるようなことはできない。)

・同期をとるような仕組みはないので、同期信号はとらず、手作業で組み合わせている。

・映像と音をマージはどうしているのか。Youtubeには1つだけ上げている。
Youtubeのライブ配信でambisonicマイクのデータを活用することは理論上可能だし、やれるという機材も聴いたことがあるが、実際に活用されているのを見たことはない。