超高臨場感ライブ体験を実現する通信技術の国際標準化を実現し、エンターテインメント業界における新たな興行形態を創造
日本電信電話株式会社サービスエボリューション研究所
長尾 慈郎氏
近年、ヘッドマウントディスプレイを使用した仮想現実（VR※1）の市場が急激な盛り上がりをみせる中、NTTはさらに没入感を高めた超高臨場ライブ体験（ILE：Immersive Live Experience）※2を実現する通信技術の標準化に成功した。長年研究開発を進めてきた通信技術である「Kirari!」を活用したILEは、ヘッドマウントディスプレイをつけることなく、離れた場所で行われるイベントを、あたかも会場にいるかのようにリアルタイムで体験できることが特徴である。
NTTの提案により、2016年からITU-T（国際電気通信連合 電気通信標準化部門）において検討が開始され、ワークショップなどの開催を通じて理解増進に努め、NTT発・日本発の国際標準として2018年に勧告化承認を実現させた。
世界各地でスポーツの感動を共有するために、更なる超高臨場感を実現する通信技術を開発
2015年、NTTは、遠隔地にネットワークを介してリアルタイムに競技空間やライブ空間を「丸ごと」伝送し、再現を目指すイマーシブテレプレゼンス技術「Kirari!」の研究開発を発表した。2020年に向け、あたかも実際の競技会場で観戦しているかのような没入感を提供するため、さらに高臨場なパブリックビューイングやライブビューイングの実現を目指してのことだった。国際標準化活動の経験がある研究所の所長からは、「国境を越えてどの国・どの会社・どのような機器でもつながるためには、国際標準の策定が必要だろう。」とのアドバイスを受け、国際標準化にむけた取組みを開始した。
長尾は主に、対処方針の決定や寄書の作成を担当し、直近の2つの勧告（H.430.4、H.430.5）の草案のエディタも務めるなど、ITU-Tでの国際標準化活動に大きな貢献を果たした。並行して、国内の標準化機関である一般社団法人情報通信技術委員会（TTC）での国内標準化活動も進め、文書の作成や会合における進め方などマルチメディア応用専門委員会の支援を受け、技術の普及を目指してきた。
自ら提案することで感じる苦労と達成感
2016年のITU-T SG16（マルチメディア符号化、システム及びアプリケーション）本会合でILEの設置提案を行った。韓国、中国らの支持を得て、新課題としてILEが認められ検討が開始された。ILEの概念や言葉の定義そのものが、NTTオリジナルの提案であったため、まず会合参加者にそれらを理解してもらう必要があった。本会合だけでは十分ではないと判断し、会合の合間にワークショップやセミナーを複数回開催し、ILEという概念を多くの人に知ってもらい、理解を深めるために積極的な活動を行った。VR人気の高まりや、オリンピックをはじめとする各種スポーツイベントにおけるパブリックビューイングのニーズの高まりなどを踏まえて、ITU-Tのマネジメント層から「これから大切になる技術であり、是非勧告化してほしい」と激励を受け、ITU-T主催のセミナー等で発表する機会も得ることができた。
また、標準化活動を円滑に推進するため、類似の製品を開発している企業には、個別にアプローチし、「NTTが囲い込むための規格ではなく、新しいマーケットをともに拡大していくための標準である」ということを説明した。これらの活動を継続していった結果、はじめた頃は、孤独な闘いであったが、気がつくと多くの企業がコンセプトに賛同し、協力関係を築くことに成功した。
議論を進めていくうえで、「ILEの定義について言葉や図が分かりにくい」といった指摘や、「勧告でどこまで表現するのか」という、提案内容のレベルに関する議論が多くもたらされたが、それぞれに対して丁寧に対応することで、標準化のスコープや内容がさらに洗練されたものとなった。
写真：ワークショップの模様
（ITU Workshop on "Enhancing human life using e-services" 2019年3月25日 スイス・ジュネーブ）
ILEの普及・拡大に向け、異なる標準化機関が相互に連携できる仕様を策定
ILEでは、映像や音声に加えて、臨場感を高めるために必要な、物体の位置などの空間情報や照明制御情報、舞台演出情報などのメディア情報を同期伝送する必要があった。それを実現するのが、ISO/IECのMPEG（Moving Picture Experts Group）で議論されたMMT（MPEG Media Transport）※3である。ILEにおいて、MMTを利用可能とするためには、ITU-TでMMTプロファイルの勧告化を実現させなければならない。そこで、MPEGとのリエゾン※4関係を構築してMPEGでのMMT仕様の検討状況を入手し、ILEと相互に齟齬がないように仕様調整を進めた。将来の拡張性を考慮した結果、一時は沢山のパラメーターが提案され収拾がつかなくなる場面もあったが、確実に動作させるために研究開発結果の実績を重視するよう提案し、ステークホルダーの合意を得た。この結果、MMTプロファイル（H.430.4）の勧告化を実現するとともに、逆にMPEG側から、MMTのガイドラインへのILE対応提案をもらうことができた。また、2020年8月には、長尾がエディタを務めたH.430.5の勧告において、ILEの視聴会場側参照モデルの標準化を達成でき、比較的容易にILE設備を設置できるようになった。
図：ILEの概要図
歌舞伎の商用公演やMLBのライブビューイングに活用、実ビジネスでも利用
ILEを支える技術はビジネスにも本格的に活用されるようになり、例えば、（株）ドワンゴが主催する「ニコニコ超会議2019」内で上演された「超歌舞伎Supported by NTT 今昔饗宴千本桜」や、NTT・松竹パートナーズ主催による「八月南座超歌舞伎」では、超歌舞伎の登場人物が別のCGキャラクターに変わる“変身の術”を実現したり、従来では難しかった、スクリーン前での歌舞伎俳優とCGキャラクターのより自然な共演を実現した“分身の術”を披露している。また、Major League Baseball（MLB）とテクノロジーパートナーシップを締結し、「Ultra Reality Viewing技術」※5を活用したライブビューイングも実施するなど実ビジネスでも利用され始めている。
国際標準があるから、世界中で安心・安全・便利なサービスを実現できる
長尾が目指す、場所に関係なくネットワークを介して、高臨場に没入感のある体験ができる世界の実現に向けた取組みはまだ始まったばかりである。GAFA※6といった巨大プラットフォーマーがデファクトスタンダードで市場を席巻している時代ではあるが、「世界中のサービスや製品の相互接続性、代替可能性、安心さ、便利さを支えているのは国際標準であることに変わりはない」と長尾は実感している。新型コロナウィルス感染症の拡大が依然として収束を見せないなか、遠隔地間のコミュニケーションの重要性は一層増してきている。パブリックビューイングやライブビューイングにとどまらず、遠隔地からのイベント参加の需要は高まると思われ、更には、オンラインサービスやスマートフォンアプリを活用した個人利用におけるKirari!の活用も考えられる。さらなる「没入感」の体験を世界中の人々に届けるため、振動・温度・湿度・匂いなど五感に働きかける情報を伝送する技術の標準化も手がける予定だ。今後も世界に通用する新たなサービスの実現を目指し、標準化活動に取り組む技術者として人と人との“つなぐ”を支えていきたい。
＜本事例の標準について＞
ILEの定義と要求条件を規定。
ILEのためのアーキテクチャフレームワークを規定。
ILEのサービスシナリオを規定。
ILEのためのサービス構成、メディア伝送プロトコル、MMTシグナル情報を規定。
ILEのためのプレゼンテーション環境の参照モデル。
ILEのためのアーキテクチャフレームワークを規定。
日本電信電話株式会社
サービスエボリューション研究所 主任研究員
長尾 慈郎
- 日本最大の通信企業グループNTTで、映像・画像配信技術の開発を推進する技術者の一人。
- 2007年日本電信電話株式会社入社。NTTコミュニケーションズ株式会社にて映像配信系商用サービスの技術リーダを経て、現在、NTTサービスエボリューション研究所イノベーティブサービス研究プロジェクト 主任研究員。映像・画像の配信・認識に関する研究に従事。
- TTC マルチメディア応用専門委員会 ILE-SWGリーダ。2019年からITU-T H.ILE-MMT（現H.430.4）、 H.ILE-PE（現H.430.5）各エディタ。電子情報通信学会、日本医用画像工学会各会員。博士（情報科学）。
＜注釈＞
※1 Virtual Realityの略。限りなく実体験に近い体験が得られるバーチャル技術であり、スポーツや広告、医療などへの活用が期待される。
※2 センサ情報収集、メディア処理、メディア伝送、メディア同期、メディア表示などのマルチメディア技術の組み合わせで実現された高臨場感により、あたかも遠隔の視聴会場の観客がイベントの本会場に入り込み、観客の目の前で実際のイベントを見ているかのように、本会場と視聴会場の両方の観客の感覚を刺激する共感視聴体験。
※3 国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEGで制定する、放送や通信などの多様な伝送路を用いてコンテンツを伝送するためのメディアトランスポート規格。IPを含む多様なネットワークに柔軟に対応できるトランスポート規格を目指し、2009年より検討開始。2014年6月、コアパート（23008-1）が国際標準化。
※4 別の標準化機関間、または1つの標準化組織の別グループ間で、相互に連携して整合のとれた仕様を策定するために情報を交換すること。
※5 複数の4Kカメラ画像をリアルタイムで12Kなどの超ワイド画像に結合し、それらを遠隔地にリアルタイムに伝送するNTTの超高臨場感メディア同期技術で、Kirari!を基に開発。
※6 米国の主要IT企業であるGoogle、Amazon、Facebook、Appleの４社の総称。
(2020年11月20日作成)