株式会社ウサギィ

https://www.nhk-art.co.jp/development-work/ai/index.html

紅白歌合戦でチコちゃんというキャラクターが登場する際の
着ぐるみとCGを紐づける画像認識の技術を提供しました

着ぐるみにCGをオーバーレイする作業など、今まで手作業だった工程を
すべて自動化させたことで大幅な時間短縮に成功し
ヒアリングから本番まで6週間足らずという短期間で学習と調整、
アニメーションプログラムと連携する動作可能なシステムを完成させ
生放送にも耐えうる高速で精度の高い認識システムを
非常に短期間で開発できました。

細かい微調整を手作業でも出来るように
人間の最終チェックを挟める構造になっているソフトウェアも同時に開発し
どの着ぐるみに対してもCGデータがあれば利用できる形式で作成したため
生放送以外のレギュラー番組での編集作業の省力化にもなりました。

2018年の「第69回ＮＨＫ紅白歌合戦」においてはオープンソースのAIツールを用いた顔認識技術を開発し、画面の中からチコちゃんの顔の位置を探し出し「ボーっと生きてんじゃねーよ！」の決め台詞を発するCG処理を行いました。

2019年の「第70ＮＨＫ回紅白歌合戦」では、より精度の高い顔認識を実現するために株式会社ウサギィのリアルタイム物体認識エンジンを採用しました。ウサギィ社の認識エンジンの大きなメリットの1つは、学習のための大量の素材(学習データ)を用意する必要がなかったことです。
一般的にAIによる画像認識では大量の画像を学習させるイメージがありますが、今回はチコちゃんの3DCGデータを活用して学習を行うことができたため、実写の学習素材を用意する必要はありませんでした。また今回の開発は、本番まで6週間足らずという短期間で、学習と調整、アニメーションプログラムと連携して動作可能なシステムまで完成させることができました。これはAIを活用したシステム開発としては驚異的に短い開発期間です。本番はもちろんのこと、事前のリハーサルでも動作確認が可能な状態になっていたため、スムーズに導入していくことができました。

チコちゃんのようなキャラクターの顔認識は人の特徴とは異なった学習が必要になるため一般的な顔認識エンジンでは対応できませんが、今回はウサギィ社のリアルタイム物体認識エンジンを採用したことで、生放送にも耐えうる高速で精度の高い顔認識システムを非常に短期間で開発することができました。

一般的に画像認識をする際は、対象物を撮影した大量の画像データを用意することで必須と言われているが、本ケースでは期間や環境により不可能でした。
そのため、対象物の3DCGをもとに認識対象の形状をエンジンに学習させ
これらの独自技術を使い、実写の学習データがない状態で認識エンジンを作成しました。
チコちゃんのようなキャラクターの顔認識は人の特徴とは異なった学習が必要になるため一般的な顔認識エンジンでは対応できないが、依頼元は画像認識への知識がない状態であり、どのようなアプローチをすればいいかわからない状態でした。
そのためヒアリングしながらAIに関するレクチャーを行い技術的な見識を深めてもらいました。
汎用的なエンジンでは目的を達成することが難しいことを理解して頂いたうえで、私どものリアルタイム物体認識エンジンを採用いただいたことで、生放送にも耐えうる高速で精度の高い認識システムを非常に短期間で開発できました。