XRkaigi-DAY2＆VREXPOリアルタイムレポート
会場はUDX秋葉原館
本日の基調講演のタイムスケジュール→https://xrkaigi.com/session/
2日目はVREXPOと平行開催です。
公演聞くか体験するかみたいになっていますが、自分は今回は公演ベースです。
VRは体験させないと伝わらないことから、わりと小さい規模からも展示会が多くあるので、ここでなくても機会はあるなと思っているので、できるだけ公演聞いて知識を食べたい所存。
また日本XRの課題がDAY1でもあった通り、世界への発信である為、このXRkaigiの公演の多くは動画公開が予定されておりました。（これが生動画公開のみだったら悲しみに打ちひしがれますが、確認できてません）なので、動画公開されないものを優先的に見ていくようにしています。
10:15〜
第一希望：現実を編集する：バーチャルリアリティによる知覚・認知の再設計
第二希望：5GxXRの未来
これは第一希望が動画予定有りだったので、そちらに望みを託して動画公開が無い5GxXRを優先にしました。
Contents
5GxXRの未来
・5G 2020年春にはリリース予定（エリア限定）
・キラーアプリ探しに苦労している。（スピードテスト？4K・8K動画？どれも需要は低い）
・KDDIの次にでる開けるスマホは5Gには非対応。
・女性の方につけてもらえないVRHMDの改善を考えている（XR view scopeを作ってみた）
・髪型に影響がある
・視界が全部なくなる恐怖
・化粧崩れの心配
・衛星地図と写真撮影を組み合わせることでMRを実現。スマホバーチャルKOZAでビルを携帯で見ると過去の様子が見えたりなど遊び要素を色々実現。
・撮影した風景数枚と衛星地図データを紹介して自分がどこにいるのかを知らせるARcround技術
・AR広告に関する研究開発に着手中
・nrealとはこのサイズ価格帯でベストなスマートグラスと感じて提携している
・スマートフォンと接続しての活用が可能という点も大きい
・オリンピック関連でもARglassを活用したものもでてくると思います
・来年はじめにジェスチャーシステムなどをUPDATE予定（nreal）
・世界3000社がdeveloper登録済み
・EVE2020（https://nreal.jp/eve2020/）日本限定に100unitのレンタル予定
11:15〜
第一希望：キャラクタと触れ合うために
第二希望：Oculusのエコシステムにおけるコンテンツレビューの概要〜世界中のVR体験づくりの成功事例を紹介
こちらも第一希望が動画予定有り資料公開予定有りだったので、そちらに望みを託して第二希望を優先予定
Oculusのエコシステムにおけるコンテンツレビューの概要〜世界中のVR体験づくりの成功事例を紹介
Oculus公演は残念ながらインターネットシェア禁止ということで、メモを見たい方はTwitterのDMでご連絡ください。（DMは一般開放しています。https://twitter.com/HoshimiyaGameCh）
概要としては『開発からリリースまでのフローと、それらを行う上でのポイント』プロデューサー、ディレクター向けの内容となっています。
13:00〜
第一希望：日本から世界へ 〜グローバルマーケットにおけるゲーム販売の成功事例とは？
第二希望：なし（VREXPO展示会巡り）
見たい気もしつつ、休みたい気もしてますね。
12:00〜お昼休みということで、ノートPCの充電をしにいくのもありかと思っています。
もしよければTwitterなどでDM頂けたら人と会いながら充電したい・・・！
https://twitter.com/HoshimiyaGameCh
日本から世界へ 〜グローバルマーケットにおけるゲーム販売の成功事例とは？
Oculus公演は残念ながらインターネットシェア禁止ということで、メモを見たい方はTwitterのDMでご連絡ください。（DMは一般開放しています。https://twitter.com/HoshimiyaGameCh）
概要としては『グローバル展開をする上での心がけ』プロデューサー、マーケティング向けの内容となっています。
14:00〜
第一希望：キャラクターを生き生きと魅力的に動かす極意
第二希望：没入度の高いAR視覚表現の模索と深層学習を用いた具体的事例
第一希望は動画公開予定有りなので、第二希望優先予定。
没入度の高いAR視覚表現の模索と深層学習を用いた具体的事例
・AKATSUKIはエンタメというジャンルで手広く研究を着手している
・結構前からARに関しては研究開発を行なっている
・会社的な側面から光学的整合性を特に大事している
・Photorealisticは環境光などはかなり良好だが、シェーダーじたいはまだ難しく、本物と感じるにはまだ壁がある状態→ARならではのリアル差というのを追求していくといいと感じる
・機械学習を混ぜ合わせることで単調なものが複雑な世界観を持ったものとして表現することができる。
Style Transfer機能。
・海外の論文をかなり追っていて、まず適応させてみようという形で研究している
・リアルタイムで動かす際にはコーダーがかなりボトルネックになる
・pixelの畳み込みがとても重い→解像度を下げる→あれ？抽象画になってしまう→GANを活用してみる→
・GANとはTraningDataとGeneratorをDiscriminatorにreal/fakeか判断させることで教育を繰り返し、generatorとDiscriminatorの精度を上げていくこと。
・GANとARの親和性は高いと考えいる
・必ずしもGAN>CNNという訳ではない。（演算速度かクオリティかみたいなもの）
・やはりARは60FPS欲しい→2018年モバイルのGPUでは辛い
・ARCloudは上りも大事になるのだが、整備があまりできていなく下りと比べてレイテンシが倍以上になる→リアルタイム性はまだ難しい→結局バックパックPCを背負うのが現実的ということに
・ARStack＋DNNStack-HandMadeHMD
AR版ハコスコ。携帯のARカメラを生かし、処理はバックパックPCで、出力はHandMadeHMDでという形で実施できることを確認。ただ携帯からバックパックPCの通信処理で微妙にレイテンシはでてしまう。
・ARなどのリアルタイム処理はメモリの使い方が大切。（なんかファミコン、スーパーファミコンのときのように128byteに何を詰め込んでいくのかみたいなことを良く考えていく必要がある。）
・深層学習のアルゴリズムはARの視覚表現の品質向上にも有用
15:00〜
第一希望：音声対話エンジンを使った中の人がいないバーチャルキャラクターとその先の未来
第二希望：身体経験のリデザイン 〜 触感を伝え体験を拡張する身体性メディア
VREXPO感想
悩んだすえに他の公演はずせないし、VREXPO体験優先しちゃいました。
第一希望の部分はyoutubeで1〜2つ前のバージョンのものを見たことがあって、第二希望はありだなと思いつつ資料も動画も公開するようなので、Twitterと組み合わせれば大丈夫かなと。あとはリフレッシュしたい気持ちだったので、一度公演から離れたかったのがありました。
VREXPOは建築系の会社やグラフィックの会社がかなり多く登場していて、ゲーム性があるものというよりかはシミュレーション性に特化したものが多く展示されておりました。
なので”ほとんど聞いたことない会社名”だったりしたのが新しい発見です。
ゲーム性を噛みしたものを制作していける技術があるかはいまいち掴めなかったですが、表現がしっかりしているのでできそうな印象はあり、営業さえすればゲームｘシミュレーション案件は引っ張ってこれそうな会社が多いと思ったので、転職先の候補としてはありなのかもと思いました。
元となっている業界のタイプが建築系やCG系になるので、ゲームというエンタメ業界出身が企業体質含めてマッチングしやすいかは入ってみないと、、、わからないかなぁ。
16:00〜
第一希望：XR空間における「共感覚的な質感」はどう作られるべきか
第二希望：XR開発で役立つ人工知能技術
動画あるからそちらでいいかなと思っていた第一希望入っちゃいました。
第二希望VREXPOから上がってきたら席なかった（＝ｘ＝
情報Twitterで流れてくることを期待したい。
XR空間における「共感覚的な質感」はどう作られるべきか
・before2016 VR元年と言われている
・2001年RezLiveを作りました
・頭の中ではXRのイメージで作っていた
・2006年VR化
・操作→反応→音と映像の融合で高揚感
・2007年LiveEarth
・ホログラム映像チャレンジ
・2011年元気ロケットの3DMV制作
・2011年3Dメガネ活用の音と映像のライブを実施
・2011年Child Of Eden指揮者のように遊べる音ゲーム
・ただここから2-3年は作りたいものが作れないと制作を辞め研究時期へ
・音と映像と操作感の融合＝共感覚
・レイテンシが100分の1になってくると気持ちいいがなかなか実現されない
・映像は綺麗だがゲームデザインが悪い
・音楽がおまけになっている
・映像と音楽とゲームデザインの全てがバランスとれているからこそChild Of Edenの感覚は凄いものになった。
・このバランスこそが気持ちいいという感覚を与える要素だと思う。どれかが強く入ってどれかがおまけではなくて、全てが主役で、全てが入ってくる。互いが互いを拡張していくような響きあい相乗効果を出しているのが共感覚性を生む仕組みだと感じる。
・MIDIなどは良く使っている
・REZ INFINTE PRE PRODUCTION PHASE（2013-2015）
・コンセプトアートは描いているが、体験したことはないので想像で描いていた
・コンセプトアートはなんどもリテイクして本当に多く描いている
・パーティクルで量子化された世界、ARクラウドがウイルスに侵されていてそれを治療していく、その治療していく際の気持ち良さを映像や音でしっかりと作り込むことが大事だった
・レールアクションからフリーワールドアクションに変更していくことに難しさを感じたが、その気持ち良さをしっかりと映像や音、特に音で再現していくしていった
・バラバラや足りないものがどんどん繋がって集まって一つになるという感覚は、グローバル的に存在するもので、誰がやっても気持ちのいい作品になるようにしていった。（多幸感というのをスコアのようなゴールとして設定していった）
・after2016
・2016年 REZ INFINTEリリース
・長いPreProductionを終え、誰もが感動できる作品を作り上げられた
・2018年 TETRIS EFFECTリリース（PS4）
・テトリスで感動できるものを作りたいと作った
・音と映像をテトリスにマッチングさせていった
・VENT@Japan2018でMR的な表現もチャレンジ
・シナスタジアラボ
・シナスタジアスーツを開発している
・シナスタジアチェアーも開発している（２個のスピーカーと４４の音楽素子体験できるような椅子）
・共感覚は一種の芸術
・ゲームで感じ入ることができる時代。涙を流せる時代。
・脳波とパフォーマンス関係
・リラックスと緊張の仕組みなど、空間・肉体・意識におけるシナジーを意識している。
・われわれの感覚は５感だけではない。細分化して５０ぐらいの感覚があると思っている。
・体験をしたものは忘れ辛い。共感覚で深い感動をする時、人は単一の感情ではなく複数の感情が同時に押し寄せているので、人を感動させる作品は複合的なもの、多くの要素で共感覚を得られる作品である。
・エンタメとして感覚→感情に徐々にシフトしていく
・解像度の限界は15年後ぐらいでは終わると感がている
・ここから怒る変化は活版印刷の発明以来、600年ぶりの大革命！さぁついていけるか！？
・一緒に時代を切り開いていけるコアメンバーを常時募集していますByEnhance
17:00〜
第一希望：VRM 勉強会
第二希望：xR Tech Tokyo
これは第一希望かなと思っています。どちらも動画は不明ですね。
VRM 勉強会
＜MIRO様＞
・VRM1.0で一度破壊的変更します。（これまでの互換性を無くします。）※今後互換できるように
・VTuberの盛り上がりに合わせてえいやで作ったので未整理なものが多くあった→見直しを行う
・どう使われていくか読めなかった部分を、使われ方に合わせて最適化していく
・標準化/拡張/排他要素の追加と結構やりたくても難しかったことが多くできるようになる印象。
・ライセンス条件の整備もかなり細かく作りなおしていく（現状曖昧なところが多すぎた）
・細かい変更点はExcelデータでまとめてあってDL可能にします
・VRM1.0はドラフトリリース済みです（git-hubに）
・実装を確定させてからパラメーター定義という順番でやっていきます
・unity部と非unity部をを明確に分けることで活用しやすいようにしています
＜ねぎぽよし様＞
・名取さな、まぐろなさんとか有名VTuberもLuppet使われている
・広告費０、口コミで広がっている、手軽さがとても要因になっていそう
・アプリ起動して最初に顔が見えているのはとても大きい！真っ暗では難しい
・Tポーズはデータ感が強いので、初期にポーズを入れておいた
VRMは男女がないのでユニセックスなポーズにしいてる
・VRMの統一規格があることで使いやすい触りやすいものを用意することができる（とても大きい！）
・スケール0でマイクやサングラスを仕込み、表情変更時にそれらのスケールを直すことで装着させるような動きもさせているユーザーがいるので、一概に制御しきるのがいいことではないと感じている
＜あきら様＞
・OculusQuestの3点トラッカーで動くバージョンがもうすぐ出せます
・表情はiPhoneで認識させられるようにしました
・最近、自分だけのバーチャルな部屋を作って配信に使えるように
・ばもきゃはあくまでOVERRAYでキャラを気持ちよく動かせるソフト
・難しいことがしたい人はEVMC4でUnityと連携させて各自やってほしい
・シネスイッチャー（カメラ制御）
・VirtualStreamer360（360度動画撮影）
・ばもきゃAR（ARカメラ対応）
・Face2VMC（表情トラッキング）
・普段からばもきゃはエゴサしている
・投稿動画は8500本を超えてそうです。（ばもきゃタグがないものもある為）
18:00〜
VR Angle Shift -VRで他者の視点に立つことによる学習-
VR Angle Shift -VRで他者の視点に立つことによる学習-
・実写VRの活用を紹介できればと思っています。
・技術の研究開発ではなく活用を考えながら過ごしています。
・VR研修関連を提供しています。
・シルバーウッドの理念は”社会課題を未来に残さない”
・高齢者住宅は一般的には２割ぐらいしか最後まで住めない。私たちのところ銀木犀は８割住める。
・VRで認知症の方への理解が進み、介護の際に感じる心理的負担感が和らいだか→約90%がYES
・共通した情報を持てることも多い
・神奈川県、未病学習にて実際に活用事例あり
・海外での導入（中国、台湾）も多い、認知症とリンクして売れている
・日本は５０室、台湾は１０００室で、規模が違う！台湾での理解の進行は日本よりも急務
・風邪をひいたと言われたら共感できる。なぜなら体験し理解しているから。
でも認知症で辛いと言われたら共感ができない。それは体験していないから。
そこを補うのがVRなどでの仮想体験
・VRは想像力を養い共感を助けるためのテクノロジー
・キチンと事業として成立しており、黒字になっている
・１回２〜３時間の授業を５０万などでやっている
・サブスクで研修会社に販売したり等をしている
・国から支援金をもらうなど
・VR看取り推進研究なども国の依頼で作っている
・在宅（介護施設含めて）で看取れている場合はどんなケースなのかが調査された
・介護施設が見惚れると思っているかどうか
・看取りの体験、看取られの体験というのをVRで感じれるようにした
・医者がとれる手段としては”延命”しかない。なぜなら何も情報がないから。
・だがその延命されたあとをみて、なんでこんな管だらけにしてくれたんだ！などと言われることもある
・国が持つ約６億資産のなかでの、介護事業種に対する意識改革をビジネスとしてやっている
・”他人事に思っていたことも、いつもと違う視点に立つと少し違って見えるはず”
・大変そうだよね→大変だよね。 二人称から一人称の会話ができるようになるのがVR
・世の中で困っていることはたくさんある、だが二人称でしか語れないことが多い、それを解決していくことをしている。
・LGBTのキャンペーンを代々木公園（渋谷全体）でやっていて、そこでLGBTの体験VRを提供した
・２つの事例を一人称で見せることで、環境比較ができる
・当事者として体験することの重みは二者三者で見る重みと全然違う
・VRでは”空気感”を感じることができる（気まずいなど）ー個人差はもちろんある
・360度よりも距離感、目が合ってる感覚などを伝えられるものとしてVRを活用している
・これまでの研修だと、逆に反感を持たせてしまったり、派閥を作ってしまっていた
・自分と異なる価値観について共感ができないケースが多かった
・当事者意識まで到達していない
・医学生は３年目に共感ができなくなる。知識に寄ってしまう。
・知識の積み上げは、人への共感とは直接は繋がらない
・４年目に少しあがるのは”実習”があり、実際に会話するため
・VRのいいところでもあり、悪いところまでもあるのは、一事象を当事者として体験できること。
・実際の会社においてなどは、そのあとディスカッションなどをすることで補うようにしている。
・今まではGEARVRを使っていたが、やはりより視野が広く明るいVRのほうがよく徐々に変えている。
・恐怖を与えることで終わってしまうのは、購買には繋がるが、共感に繋がらない（どうしたら幸せを感じるかを定義して見せてあげることがいい）
・認知症は短期記憶は忘れるが、感情など長期記憶は残る。こいつは嫌なヤツとかそうした思いは残る。
・VR慣れていない人がつけると10分ぐらいが限界。これが伸びてくるともっと色々伝え方ができそう。
・VR実写撮影をしている人はプロではない人が多い。私達もCADを作っていただけ。
・VRドラマはタレントよりも役者のほうがいい。
・カメラ相手に感情を出すのは難しいが、役者のほうが自然（リアル）
・当事者との制作をしている（伝わりやすいように加減はする）
・VRは強力だからこそ脅しの道具にもなってしまう
・手放しでの運用をすることがまだ難しいと感じる
・VRを使った差別や反感を産まない教育者を育てる活動をしている