NECは3月12日、マルチモーダルAIの視覚言語モデル（VLM）を使って現場作業を認識する「NECデジタルツインソリューション現場可視化・分析サービス」の説明会を開催した。工場や倉庫で人がどのような作業をしているのかをAIが網羅的に認識し、「効率化できる余地を浮き彫りにする」（宮野博義・ビジュアルインテリジェンス研究所長）ことで、職場での作業の全体最適化を行うツールとして訴求する。
 
　汎用的なVLMでは、何の作業をしているのかを学習させる工程が必要となり「事前準備だけで数週間かかる」（岩元浩太・ビジュアルインテリジェンス研究所ディレクター）課題があった。そこで、NECが独自に「人とモノの関係性を捉えるAIモデル」を開発し、既存の汎用VLMと組み合わせて運用することで、即時に作業内容を認識できる「ゼロショット行動認識」を実現した。
 

　ゼロショット行動認識は、「棚から荷物を取りだしているのがピッキング」「台車を押して運んでいるのが台車運搬」「製品を持って目で確認しているのが検品」など、現場作業の映像をAIに見せながら自然言語で指定することで、映像に映し出されている作業内容と作業名が即時にひも付く仕組み。

　さらに、複数台のカメラで映し出される人物の移動経路を見失うことなく追跡する技術などと組み合わせ、工場や倉庫における作業全体の最適化を支援することで、向こう5年間で40億円の売り上げを目指す。宮野研究所長は「こうした技術は、将来的により大規模な作業現場や都市全体の最適化にも応用できる」と話した。
（安藤章司）