小多視点ロボットカメラによる「ぐるっとビジョン」
を用いた新しい映像表現技術の開発
― 多視点ロボットカメラ開発グループ

池谷 健佑さん(いけや けんすけ):写真左

　多視点ロボットカメラ開発グループ（NHK）は、1台のカメラに対応した複数のカメラが連動して被写体を追尾できる技術を開発。広範囲で動く被写体の多視点映像化を可能とし、被写体の周囲を回り込んで見ているかのような新たな映像表現の適用範囲を格段に拡大させたことが高く評価された。個人・グループ部門〔放送技術〕を受賞した開発グループ代表の池谷健佑さんに寄稿していただいた。

１.はじめに

　多視点ロボットカメラは、複数台のロボットカメラを連動して撮影するシステムで、1人のカメラマンの操作によって、すべてのロボットカメラを任意の被写体へ一斉に方向制御することを特徴としています。被写体の動きや位置に応じてパンフォローすることで、これまで撮影が困難であったダイナミックに移動する被写体や、広い空間に点在する被写体の多視点映像を撮影することができます。そして、撮影した多視点映像から、静止した時間の中で、被写体の周囲を滑らかに視点が回り込むような映像「ぐるっとビジョン」を生成することができます。本稿では、多視点ロボットカメラによる「ぐるっとビジョン」を用いた新しい映像表現技術の開発についてご紹介します。

２.多視点ロボットカメラ

　前述のように、多視点ロボットカメラは複数台のロボットカメラを任意の被写体へ一斉に方向制御し、多視点映像を撮影するシステムです。以下の3つの技術的な特徴があります。

2-1. 「デプス」を導入した新しいカメラの操作手法
　空間中の被写体にすべてのロボットカメラを方向制御できるよう、本システムには「デプス」というパラメータを導入した新しいカメラの操作手法を採用しています。この操作手法の基本原理を次に示します。
　まず、複数台のロボットカメラの中からカメラマンが操作するマスターカメラを選択し、それ以外のカメラをスレーブカメラとします（図2(a)）。マスターカメラが選択されると、マスターカメラの光軸上には注視点と呼ぶ空間中の1点が設定され、すべてのスレーブカメラは光軸が注視点へ向くように常に方向制御されます。カメラマンはマスターカメラをパン、チルト操作して被写体を捉え、「デプス」を調整します。デプスとは、マスターカメラから注視点までの奥行き距離値のことをいいます。注視点はこのデプスに応じて光軸に沿って移動するため、デプスを適切に調整することで、注視点を被写体位置まで移動させることができ、すべてのロボットカメラを被写体へ方向制御させることができます。

2-2. 弱校正カメラキャリブレーションの導入
　複数台のロボットカメラを連動制御するためには、事前にカメラキャリブレーションによってカメラの位置および姿勢情報を取得する必要があります。本システムでは、弱校正カメラキャリブレーション手法を導入しています。これは、撮影した多視点画像から特徴点を自動抽出し、多視点画像間で特徴点の対応をとることで、カメラの位置および姿勢情報を取得する手法です。特殊なキャリブレーションパターンの撮影を必要としないため、すべてのロボットカメラを共通の被写体へ手動で方向制御し、多視点映像を撮影するだけでカメラキャリブレーションを行うことができます。これにより、撮影現場においての運用性を向上させています。

2-3. 「ぐるっとビジョン」の生成
　図2(a)のように、複数台のロボットカメラを機械的に被写体へ方向制御しても、カメラマンの操作精度、カメラキャリブレーションの誤差などが原因で図2(b)のように、方向制御誤差が生じることがあります。この方向制御誤差が生じた撮影映像に、撮影後に仮想的な方向制御を行う画像処理を用いることで、各ロボットカメラを正確に被写体へ方向制御して得られる映像に補正しています。この補正した映像を用いることで、静止した時間の中で被写体の周囲を回り込んで見ているかのような映像「ぐるっとビジョン」を生成することができます。

３.多視点ロボットカメラの実用化

　多視点ロボットカメラを実用化し、これまでにNHK杯体操競技選手権やNHK杯国際フィギュアスケート競技大会などのスポーツ中継で番組利用を行ってきました。ここでは、今年1月に多視点ロボットカメラを用いてNHK連続テレビ小説「とと姉ちゃん」の広報コンテンツを撮影したのでご紹介します。
　撮影現場では、ロボットカメラ16台を被写体の周囲に円弧状に配置しました。また、演出を踏まえ、ぐるっとビジョンにおいて視点が回り込むにつれて視点が徐々に高くなるようカメラの高さを調整しました。カメラ配置後、多視点ロボットカメラを連動制御するためにカメラキャリブレーションを行いました。ここでのカメラキャリブレーションにかかる時間は約5分でした。カメラマンは、デプスを導入したカメラの操作手法により多視点ロボットカメラを連動制御させ多視点映像を撮影しました。そして、撮影直後に、多視点映像に画像処理による仮想的な方向制御を行いぐるっとビジョンを生成しました。ぐるっとビジョンは、撮影完了から数十秒で生成、送出することができるため、演技直後に俳優やディレクターが、演技の動きや表情を確認することができました。CGやテロップが合成された最終的なぐるっとビジョンを図3に示します。

４.おわりに

　多視点ロボットカメラによる「ぐるっとビジョン」を用いた新しい映像表現技術の開発についてご紹介しました。これまでの研究開発の道のりは決して平坦なものではありませんでした。特に、システムの実用化のフェーズでは多くの困難に直面しましたが、このような困難も研究に対する情熱と、多くの方々の支えによって乗り越えることができ、ここまでたどり着くことができました。今後も、頂いた放送文化基金賞の栄誉を糧に、新しい映像表現の研究開発に努め、放送文化の発展に寄与していきたいと思います。

プロフィール

池谷 健佑 さん （いけや けんすけ）
NHK放送技術研究所　立体映像研究部　研究員
2006年、電気通信大学大学院情報システム学研究科修士課程修了。同年、NHKに入局。長野放送局を経て、2009年より放送技術研究所に勤務。三次元映像処理の研究に従事。