井上尚弥の世界タイトルマッチ、リアルタイムでハイライトシーンを自動生成 NECの映像認識AIなどによる実証を実施

2024.09.05 19:52

ドコモの映像配信サービス・Leminoで、9月3日に独占無料生配信されたNTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ」の“井上尚弥選手vsTJ・ドヘニー選手”。同試合の映像について、AIなどを活用した「ハイライトシーンのリアルタイム自動抽出と要約文章の自動生成および投稿」の実証実験が行われた。

井上尚弥の世界タイトルマッチ、NECの映像認識AIなどによる実証を実施

Leminoで生配信した「NTTドコモ Presents Lemino BOXING ダブル世界タイトルマッチ井上尚弥vsTJドヘニー」のストリーミング映像で、NEC(日本電気株式会社)の映像認識AIとLLM(大規模言語モデル)を組み合わせ、ハイライトシーンの抽出と要約文章を自動で生成。

本実証用に準備されたSNSに、抽出されたハイライト映像・画像と生成された要約文章を配信した。またラウンド毎に特徴的なシーンの抽出と、ダイジェスト文、さらに各選手の動きに焦点を置いた説明文を作成。ラウンド間のインターバル中に配信を行った。

ハイライト抽出及び要約文章生成にはデータ活用基盤ソリューション「NEC Multimedia OLAP」を活用。ストリーミング映像に対して、複数の認識AIを用いたマルチモーダル分析手法により、リアルタイムにハイライトシーンを多角的に抽出した。

それらのシーンを基に、LLMを活用することで、臨場感ある表現や特定の選手に焦点を当てた描写など、多様な視点でストーリーが感じられる要約文章の生成を実施。SNSでリアルタイムに試合状況を把握することが可能になるため、ユーザーが場所やシーンを選ばず、より手軽に臨場感あふれる情報を入手し、楽しむことができる。

さらに本技術では、利用者からの指示を元に該当するシーンを要約した映像や文章の生成が可能に。今後は運営側での配信負担軽減のみならず、ユーザーが求める臨場感のあるハイライトシーン投稿を自動生成するサービス開発などへの活用を目指すという。