小型姿勢センサーを用いたハンディカメラによる
バーチャルスタジオの開発と実用化
― ハンディカメラ対応バーチャルスタジオ開発グループ

加藤 大一郎さん（かとう　だいいちろう）

　実写とＣＧをリアルタイムに合成するバーチャルスタジオは、多彩な映像表現が可能なことから注目が高まってきています。実写の動きに合わせてＣＧを追随させるためには、実写を撮影するカメラがどのように動いているかのデータが必要になります。従来は、車輪の付いた三脚（ペデスタル）の各部に回転角センサーを装着した特殊な機材を用いてデータを得るのが一般的でした。安定な計測ができますが、この方法ではカメラを手持ちの状態で使用することはできません。一方、一般スタジオでは、ハンディカメラが多用され、機動性を活かした映像作りが当たり前になってきています。こうした状況を踏まえて、カメラ本体に装着するタイプの新しい自律型のセンサーを実現し、手軽にバーチャルスタジオの効果を活用できないかと考えました。
　一般的に、空間を移動する物体の動きを非接触で計測することは困難だと言われています。初めに試みたのは、最近、スマートフォンなどにも搭載されている角速度センサー（ジャイロセンサー）と加速度センサーを集積したMEMSセンサー(※1)を用いる方法です。市販品の中から数種類を選定し、カメラに装着して姿勢角と位置のデータを計測してみました。得られたデータで合成映像を生成したところ、結果は散々なものとなりました。実写とＣＧのずれが大きく、見るに堪えない映像となってしまいました。スタジオ内を自在に動きまわるカメラの動きを高精度に計測することの難しさを実感しました。
  そこで、MEMSセンサーに加え、小型カメラと画像処理技術、レーザーセンシング技術を応用した複合型のセンサーを考案し、個々の欠点を補うことで精度を向上する仕組みを考えました。これが今回、賞を頂戴しましたハイブリッドセンサーです。当初は、各部で発生する誤差を抑え込めず、カメラを動かすたびに実写の上でCGがスケートをしているかのように大きく滑ってしまう状況でした。技術的な限界を感じ、バックアップ系として、ワイヤーの一端をカメラに固定し、ワイヤーの挙動で位置を求める方法などを試したこともありました。しかし、それでは所期の思想とかけ離れてしまうため、最終的には退路を断ち、３年間かけて地道に精度向上に取り組んできました。

現場でも試行錯誤の連続

小型化したハイブリッドセンサーを手持ちカメラに装着

　初めて番組に使用したのは、『着信御礼！ケータイ大喜利』という番組です。いきなりの生放送であったため、はらはらドキドキの連続でした。初期型は重量も重く、カメラマンも苦労されたことと思います。センサーに外乱が入り込み、合成映像内でＣＧが上下に動いてしまうアクシデントもありましたが、手持ちの効果を活かした臨場感ある映像をお茶の間に届けることができました。
　その後は、センサーの機動性を活かして長野局や広島局、仙台局、福岡局、松山局などでバーチャル番組に活用しながら、高性能化を図ってきました。時にはスタジオの使用環境によってＣＧ映像がカクつく現象が生じたり、輸送時の振動でセンサーに不具合が発生するなど、何度となく窮地に陥ったことは今でも強く記憶に残っています。現場に迷惑をかけたこともありました。しかし、たくさんの方々の温かい目に見守られ、一歩、一歩前進してこれました。大きく、重かったセンサーはコンパクトになり、民生用のカメラにも装着できるレベルになりました。ＣＧを描画する装置の廉価版も合わせて開発し、トータルシステムの低コスト化も実現しました。まだまだ完璧というわけではありませんが、バーチャルスタジオシステムとして実用化の目途が立ち、製品化も着々と進んでおります。
　今後も、頂いた放送文化基金賞の栄誉を糧に新映像表現技術の研究開発に積極的に取り組み、放送文化の発展に寄与していきたいと思っております。

プロフィール

加藤 大一郎 さん （かとう　だいいちろう）
NHKエンジニアリングシステム　先端開発研究部　部長
1983年千葉大学工学部卒業。同年、ＮＨＫに入局。放送技術研究所、放送技術局、編成局を経て、現在、ＮＨＫエンジニアリングシステムに出向中。特撮やＣＧ、合成など、実際には撮影することが困難な映像を本物さながらに再現するＶＦＸ技術や、番組をより面白く、楽しくする新映像表現に関わる様々な映像システム、新技術の研究開発、実用化に従事。博士（工学）。