深層学習により被写体を高精細に抽出
「超高臨場映像ソリューション®」新タイプ販売開始

NTTテクノクロス株式会社

NTTテクノクロス株式会社（本社：東京都港区、代表取締役社長：桑名栄二）は、NTTが開発した超高臨場感通信技術「Kirari!®」*1を活用し、遠隔地の臨場感をそのままにリアルタイムで映像を配信する「超高臨場映像ソリューション」の新タイプを2022年7月25日に販売開始します。
　新タイプでは、NTTが開発した「深層学習を用いた被写体抽出技術」*2により、カメラで撮影した映像からAIが色のみならず被写体の形も識別し、背景から被写体のみをリアルタイムかつ高精度に切り出すことが可能となりました。切り出された被写体を別の空間で再現できるため、ライブ・コンサート・演劇などさまざまなシーンにおいて、これまで以上に臨場感のある演出を実現します。
　なお、この夏に上演される「超歌舞伎2022 Powered by NTT」（製作：松竹・NTT・ドワンゴ）にて利用していただく予定です。

背景

ライブ・コンサート・演劇などではICTを活用したさまざまな演出が用いられており、カメラで撮影した人物（被写体）のみを抽出し、遠隔で再現する映像演出もその1つとして挙げられます。しかしながら、被写体抽出にはCG合成に用いられるグリーンバック背景などを必要とし、照明や場所、衣装などに制約があり、活用シーンは限られたものでした。
　これまでもグリーンバック背景などを用いずに被写体抽出が可能でしたが、AI技術を採用した新タイプにより、より多くのシーンで利用可能となりました。

特長

深層学習によるAIが被写体と背景を識別し、被写体を高繊細に抽出

被写体と背景のそれぞれの映像を「教師データ」としてAIに事前学習させることで、被写体と背景の色が類似している領域や、背景の照明効果によるあいまいな領域をAIが推論し、リアルタイムかつ高精細に被写体を抽出します。

価格

　実際の利用環境などにより構成や価格が変わるため、詳細はお問い合わせください。

「超高臨場映像ソリューション 」とは

NTTの「Kirari!®」を活用することで、遠隔地で撮影されたイベントなどの空間を高臨場な映像でリアルタイムに再現するソリューションです。（https://www.ntt-tx.co.jp/products/Immersive/）

「超歌舞伎2022 Powered by NTT」について

古典歌舞伎とNTTの技術を始めとした最新のテクノロジーが融合した未来型の新しい歌舞伎公演です。「超高臨場映像ソリューション」を活用した「分身の術」は、当公演のおなじみの演出として好評を得ています。 （https://chokabuki.jp/2022theatre/）

用語解説・注釈

*1：超高臨場感通信技術Kirari!®
　2015年から開発が始まったNTT人間情報研究所（旧NTTサービスエボリューション研究所）の技術。メディア処理技術、メディア同期・伝送技術、メディア表示技術などさまざまな技術の組み合わせにより、遠隔地にいながら、まるでその場にいるかのような高い臨場感を提供します。（https://www.rd.ntt/research/index.html?tag=Kirari!）

*2：深層学習を用いた被写体抽出技術
　深層学習を用いてAIエンジンに被写体を学習させることで、さまざまなタイプの被写体を頑健（ロバスト）に抽出することが可能な技術。（https://www.rd.ntt/research/HI0010.html）

*3：背景差分による抽出
　カメラ映像の1フレームごとの画像と背景画像の画素ごとの色の違いから、背景と人物を区別して入力画像の人物だけを抽出する方式のこと。

*「Kirari!®」は日本電信電話株式会社の登録商標です。

* 記載されている商品名・会社名などの固有名詞は一般に該当する会社もしくは組織の商標または登録商標です。