ロードレース中継における画像認識技術を用いた制作支援
～ＡＩを用いたReal-time Indexing～
画像認識AI 検討チーム

篠田 貴之さん(贈呈式にて)

　画像認識AI 検討チーム（日本テレビ放送網、東芝、東芝デジタルソリューションズ）は、ロードレース中継において、AI を用いてラップタイム表示を自動生成するなど、中継業務の効率化・高度化を実現させ、個人・グループ部門（放送技術）を受賞した。代表の篠田貴之さんに、このシステムの開発、活用についてご寄稿いただいた。

１.はじめに

　番組制作において、コンテンツ内容のメタデータ化は、スマートプロダクションに向けた自動編集の取り組みや配信時の活用などにおいて重要度が増しています。
　しかし、制作担当者によるメタデータ化の作業は、多くの労力と時間が必要となり詳細な解析まで行うには限界がありました。
　例えば、毎年１月に放送している「箱根駅伝」の番組制作現場では、各選手の走行位置の把握やテレビ放送へ重畳するキャプションを作成しています。昨年までは担当者が往路復路合計12時間に渡り、移動中継車２台、トライク（３輪バイク）２台の合計４台分の中継車映像から選手の大学名を目視で確認し、手動でタグ付けをしていました。
　この度、番組制作支援を目的として、ロードレース中継の映像内の選手のチーム名をリアルタイム、かつ高精度に識別し、タグ付け作業を自動化するシステムを開発し、「箱根駅伝」で実運用しました。

２.システム構成

　図１に「箱根駅伝」で使用した中継映像解析システムの処理フローを示します。移動中継車で撮影した映像をキャプチャして映像解析システムに取り込み、検出した選手のチームを認識し、選手の走行タグ情報を自動的に作成します。図２のように、入力された中継車映像から①画像解析AIで選手認識や解析が行われ、結果が②制作支援システムと③CG表示システムに出力されます。制作支援システムでは、専用に開発したアプリケーションにより制作担当者がレース展開を把握し易いように表示し、CG表示システムでは、選手の動きに合わせて、チーム名や氏名をCG表示できるようにしました。

図１　中継映像解析システムの処理フロー

図２　中継映像解析システムの構成

①画像解析AI
　AIを用いて選手を識別し、結果を時刻や中継車の走行位置とともに映像に対するタグ情報として、１秒毎に②制作支援システムと③CG表示システムに出力します。
【選手認識方法】
　入力された映像から、機械学習を用いた一般物体検知のアルゴリズム（SSD：Single Shot Multibox Detector）を用いてリアルタイムに検出し、顔、ユニフォーム、ゼッケンなど、複数の特徴について過去素材から学習したニューラルネットワーク（Residual Network）を用いてチームを識別し、選手を紐づけました。
【識別処理の高速化と高精度化の工夫】
　次に示す３つの手法により、高速化、高精度化を実現しました。
●選手抽出フィルタの適用
　沿道は大勢の観客で埋め尽くされており、すべての人物に対して認識処理を行うと、処理時間の増大と誤認識のリスクが高まります。観客は映像上では選手と比べ、移動量が大きいことから、その差を利用して、観客は認識処理の対象としない仕組みとしました。
●白バイ隊員、トライク（ドライバー/カメラマン）の誤認識対策
　移動車と並走する為、上記フィルタだけでは認識処理の対象から外すことが難しい白バイ隊員やトライク(ドライバー/カメラマン)も学習の対象とし、選手とは区別した認識処理を行うことで、大学として分類されないように対策しました。
●大学識別の最適化処理
　同一画像内に同じチームは存在しないことから、認識処理の確信度の高いものから、優先的に結果として確定させる最適化を行い、類似ユニフォームの識別性能を向上させました。

②制作支援システム
　制作支援システム（図３）では、専用に開発したアプリケーションにより制作担当者がレース展開を理解し易いように、映像内の大学名、認識スコア、並び順などを表示し、順位変動など見どころとなるシーンを検出するとアラートがあがる仕組みにしました。

図３　制作支援画面

③CG表示システム
　画面上の選手の動き（位置X、Y）に合わせ、CG合成の為の映像信号（FILL/KEY）をリアルタイムに出力し、生中継番組でも自動CG表示が行えるようにしました。（図４）

図４　自動CG表示例

３.実証結果

　都市部から山間部間まで続く長距離の駅伝番組では、撮影環境の変化が大きく、日照変化や選手同士の重なりなど、目視確認が厳しい状況も多くありますが、高い精度で識別できました。
　適合率は98.1%と高い識別性能が得られました。

４.おわりに

　ロードレースの中継映像に対して、各選手を識別し走行位置のタグ付け作業を自動化できたことで、専用のオペレータが不要となり、大幅な作業効率の向上と、メタデータ自動作成の有効性が確認できました。
　近年、スポーツ中継ではインターネットでの同時配信がひとつのトレンドとなっており、地上波とは異なる好みの選手、チームのシーンを見られることが魅力ですが、予算や運用の都合上、専属のCGオペレータを割り振れず、配信画面用のCGを付けられないのが実情でした。本システムにより、選手紹介CGや、予め登録した選手に基づく情報（身長、体重など）を自動でCG表示することが可能となりました。
　「箱根駅伝」での実運用の成果を受け、他のスポーツ競技や、他ジャンルの番組においてもコンテンツ解析のトライアルを開始しました。

５.謝辞

　本開発にあたり多大なるご協力頂きました株式会社日テレＩＴプロデュース殿に深く感謝致します。

プロフィール

篠田 貴之 さん （しのだたかゆき）
日本テレビ放送網株式会社　技術統括局　デジタルコンテンツ制作部
2008年、上智大学大学院理工学研究科電気・電子工学専攻修士課程修了。同年、日本テレビに入社。データ放送や番組制作技術を経験後、2017年よりCG技術業務を担当。